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本 书 共 分 为 7 章 ,分 别 介绍 了 日 志 、 日 志 审 计 和 日 志 收 集 与 分 析 系 统 的 相关 基础 知识 ,日 志 收 集 阶 
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的 实时 关联 分 析 、 事 件 关联 分 析 、 告 警 响应 分 析 和 实时 统计 分 析 , 查 询 与 报表 等 日 志 的 处 理 方式 ,最 后 结 
合 具 体 案 例 对 背景 需求 和 解决 方案 进行 了 讨论 和 解读 ,帮助 读者 更 好 地 掌握 日 志 审 计 与 分 析 。 

本 书 每 章 后 均 附 有 思考 题 总 结 本 章 知识 点 ,以 便 为 读者 进一步 阅读 提供 思路 。 

本 书 由 360 企业 安全 集团 针对 高 校 网 络 空间 安全 专业 的 教学 规划 组 织 编写 , 既 适 合作 为 网 络 空间 
安全 、 信 息 安 全 等 相关 专业 的 教材 ,也 适合 负责 网 络 安全 运 维 的 网 络 管理 人 员 和 对 网 络 空间 安全 感 兴趣 
的 读者 作为 基础 读物 。 
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加 乒 说 明 一 


21 世纪 是 信息 时 代 , 信 息 已 成 为 社会 发 展 的 重要 战略 资源 ,社会 的 信息 
化 已 成 为 当今 世界 发 展 的 潮流 和 核心 ,而 信息 安全 在 信息 社会 中 将 扮演 极为 
重要 的 角色 , 它 会 直接 关系 到 国家 安全 ,企业 经 营 和 人 们 的 日 常生 活 。 随 着 
信息 安全 产业 的 快速 发 展 ,全 球 对 信息 安全 人 才 的 需求 量 不 断 增加 ,但 我 国 
目前 信息 安全 人 才 极 度 匮乏 , 远 远 不 能 满足 人 金融、 商业. 公安、 军事 和 政府 等 
部 门 的 需求 。 要 解决 供需 矛盾 ,必须 加 快 信息 安全 人 才 的 培养 ,以 满足 社会 
对 信息 安全 人 才 的 需求 。 为 此 ,教育 部 继 2001 年 批准 在 武汉 大 学 开设 信息 
安全 本 科 专 业 之 后 ,又 批准 了 多 所 高 等 院 校 设立 信息 安全 本 科 专 业 ,而 且 许 
多 高 校 和 科研 院 所 已 设立 了 信息 安全 方向 的 具有 硕士 和 博士 学 位 授予 权 的 
学 科 点 。 

信息 安全 是 计算 机 ,通信 ,物理 、 数 学 等 领域 的 交叉 学 科 , 对 于 这 一 新 兴 
学 科 的 培养 模式 和 课程 设置 ,各 高 校 普遍 缺乏 经 验 ,因此 中 国 计 算 机 学 会 教 
育 专 业 委 员 会 和 清华 大 学 出 版 社 联合 主办 了 “信息 安全 专业 教育 教学 研讨 
会 "等 一 系列 研讨 活动 ,并 成 立 了 “高 等 院 校 信息 安全 专业 系列 教材 ”编审 委员 
会 ,由 我 国信 息 安全 领域 著名 专家 肖 国 镇 教授 担任 编 委 会 主任 ,指导 “高 等 院 校 
信息 安全 专业 系列 教材 ”的 编写 工作 。 编 委 会 本 着 研究 先行 的 指导 原则 ,认真 
研讨 国内 外 高 等 院 校 信息 安全 专业 的 教学 体系 和 课程 设置 ,进行 了 大 量 前 脆性 
的 研究 工作 ,而 且 这 种 研究 工作 将 随 着 我 国信 息 安全 专业 的 发 展 不 断 深入 。 系 
列 教材 的 作者 都 是 既 在 本 专业 领域 有 深厚 的 学 术 造 诺 、 又 在 教学 第 一 线 有 丰富 
的 教学 经 验 的 学 者 、 专 家 。 

该 系列 教材 是 我 国 第 一 套 专门 针对 信息 安全 专业 的 教材 ,其 特点 是 ， 

@ 体系 完整 结构 合理 、 内 容 先进 。 

@ 适应 面 广 :能 够 满足 信息 安全 、 计 算 机 ,通信 工程 等 相关 专业 对 信息 
安全 领域 课程 的 教材 要 求 。 

@ 立体 配套 : 除 主 教材 外 ,还 配 有 多 媒体 电子 教案 .习题 与 实验 指导 等 。 

@ 版 本 更 新 及 时 , 紧 跟 科学 技术 的 新 发 展 。 

在 全 力 做 好 本 版 教材 ,满足 学 生 用 书 的 基础 上 ,还 经 由 专家 的 推荐 和 审 
定 , 遗 选 了 一 批 国外 信息 安全 领域 优秀 的 教材 加 入 到 系列 教材 中 ,以 进一步 
满足 大 家 对 外 版 书 的 需求 。“ 高 等 院 校 信息 安全 专业 系列 教材 "已 于 2006 年 
年 初 正式 列 入 普通 高 等 教育 “十 一 五 ”国家 级 教材 规划 。 


日 志 审 计 与 分 析 mss 


2007 年 6 月 ,教育 部 高 等 学 校 信息 安全 类 专业 教学 指导 委员 会 成 立 大 会 暨 第 一 次 会 
议 在 北京 胜利 召开 。 本 次 会 议 由 教育 部 高 等 学 校 信息 安全 类 专业 教学 指导 委员 会 主任 单 
位 北京 工业 大 学 和 北京 电子 科技 学 院 主 办 ,清华 大 学 出 版 社 协办 。 教 育 部 高 等 学 校 信息 
安全 类 专业 教学 指导 委员 会 的 成 立 对 我 国信 息 安全 专业 的 发 展 起 到 重要 的 指导 和 推动 作 
用 。2006 年 教育 部 给 武汉 大 学 下 达 了 “信息 安全 专业 指导 性 专业 规范 研制 ”的 教学 科研 
项 目 。2007 年 起 该 项 目 由 教育 部 高 等 学 校 信息 安全 类 专业 教学 指导 委员 会 组 织 实施 。 
在 高 教 司 和 教 指 委 的 指导 下 ,项目 组 团结 一 致 ,努力 工作 ,克服 困难 ,历时 5 年 ,制定 出 我 
国 第 一 个 信息 安全 专业 指导 性 专业 规范 ,于 2012 年 年 底 通过 经 教育 部 高 等 教育 司 理工 科 
教育 处 授权 组 织 的 专家 组 评审 ,并 且 已 经 得 到 武汉 大 学 等 许多 高 校 的 实际 使 用 。2013 
年 ,新 一 届 “ 教 育 部 高 等 学 校 信息 安全 专业 教学 指导 委员 会 成立 。 经 组 织 审 查 和 研究 决 
定 ,2014 年 以 “教育 部 高 等 学 校 信息 安全 专业 教学 指导 委员 会 "的 名 义 正式 发 布 (高 等 学 
校 信息 安全 专业 指导 性 专业 规范 》( 由 清华 大 学 出 版 社 正式 出 版 )。 

2015 年 6 月 ,国务院 学 位 委员 会 教育 部 出 台 增 设 “ 网 络 空间 安全 ”为 一 级 学 科 的 决 
定 , 将 高 校 培养 网 络 空间 安全 人 才 提 到 新 的 高 度 。2016 年 6 月 ,中 央 网 络 安全 和 信息 化 
领导 小 组 办 公 室 (下 文 简称 中 央 网 信 办 ) 、 国 家 发 展 和 改革 委员 会 .教育 部 、 科 学 技术 部 、 工 
业 和 信息 化 部 及 人 力 资源 和 社会 保障 部 六 大 部 门 联合 发 布 (关于 加 强 网 络 安全 学 科 建 设 
和 人 才 培 养 的 意见 兴 中 网 办 发 文 L2016]4 号 )。 为 贯彻 落实 (关于 加 强 网 络 安 全 学 科 建 设 
和 人 才 培 养 的 意见 》, 进 一 步 深 化 高 等 教育 教学 改革 ,促进 网 络 安 全 学 科 专 业 建 设 和 人 才 
培养 ,促进 网 络 空 间 安全 相关 核心 课程 和 教材 建设 ,在 教育 部 高 等 学 校 信息 安全 专业 教学 
指导 委员 会 和 中 央 网 信 办 资助 的 网 络 空 间 安全 教材 建设 课题 组 的 指导 下 ,启动 了 “网 络 空 
间 安 全 重点 规划 丛书 ”的 工作 ,由 教育 部 高 等 学 校 信息 安全 专业 教学 指导 委员 会 秘书 长 封 
化 民 校 长 担任 编 委 会 主任 。 本 规划 从 书 基于 “高 等 院 校 信息 安全 专业 系列 教材 ”坚实 的 工 
作 基 础 和 成 果 、 阵 容 强 大 的 编审 委员 会 和 优秀 的 作者 队伍 ,目前 已 经 有 多 本 图 书 获得 教育 
部 和 中 央 网 信 办 等 机 构 评 选 的 “普通 高 等 教育 本 科 国 家 级 规划 教材 “普通 高 等 教育 精品 
教材 “中 国 大 学 出 版 社 图 书 奖 ”" 和 “国家 网 络 安全 优秀 教材 奖 " 等 多 个 奖项 。 

“网 络 空间 安全 重点 规划 丛书” 将 根据 (高 等 学 校 信息 安全 专业 指导 性 专业 规范 》( 及 
后 续 版 本 ) 和 相关 教材 建设 课题 组 的 研究 成 果 不 断 更 新 和 扩展 ,进一步 体现 科学 性 、 系 统 
性 和 新 颖 性 ,及 时 反映 教学 改革 和 课程 建设 的 新 成 果 , 并 随 着 我 国 网 络 空间 安全 学 科 的 发 
展 不 断 完善 ,力争 为 我 国 网 络 空间 安全 相关 学 科 专 业 的 本 科 和 研究 生 教材 建设 .学 术 出 版 
与 人 才 培 养 做 出 更 大 的 贡献 。 

我 们 的 E-mail 地 址 是 : zhangm@tup. tsinghua. edu. cn, 联 系 人 : 张 民 。 


“网 络 空间 安全 重点 规划 丛书 ”编审 委员 会 


没有 网 络 安全 ,就 没有 国家 安全 ;没有 网 络 安全 人 才 ,就 没有 网 络 安全 。 

从 更 多 ,更 快 ,更 好 地 培养 网 络 安全 人 才 出 发 ,如 今 , 许 多 学 校 都 在 下 大 
工夫 、 花 大 本 钱 ,聘请 优秀 老师 ,招收 优秀 学 生 , 着 力 培养 一 流 的 网 络 安全 
人 才 。 

网 络 空间 安全 专业 建设 需要 体系 化 的 培养 方案 ,系统 化 的 专业 教材 和 专 
业 化 的 师资 队伍 。 优 秀 教材 是 网 络 空间 安全 专业 人 才 的 关键 。 但 是 ,这 是 一 
项 十 分 艰巨 的 任务 。 原 因 有 二 : 其 一 ,网 络 空间 安全 的 涉及 面 非常 广 ,至 少 
包括 密码 学 .数学 .计算 机 、 操 作 系统 、 通 信 工 程 、 信 息 工程 数据库 .硬件 等 多 
门 学 科 。 因 此 ,其 知识 体系 庞杂 、 难 以 梳理 ;其 二 ,网 络 空间 安全 的 实践 性 很 
强 ,技术 发 展 更 新 非常 快 , 对 环境 和 师资 要 求 也 很 高 。 

“日 志 审 计 与 分 析 ? 是 网 络 空间 安全 和 信息 安全 专业 的 基础 课程 ,通过 日 
志 各 知识 点 的 介绍 掌握 日 志 审 计 与 分 析 。 本 书 涉及 的 知识 面 宽 , 共 分 为 
7 章 。 

第 1 章 介 绍 日 志 基 本 知识 ,第 2 章 介绍 日 志 收 集 , 第 3 章 介 绍 事件 归 一 
化 ,第 4 章 介 绍 日 志 存储 ,第 5 章 介绍 关联 分 析 , 第 6 章 介 绍 查询 与 报表 ,第 7 
章 介绍 典型 案例 。 

本 书 既 可 作为 网 络 空间 安全 、 信 息 安 全 等 相关 专业 的 教材 和 参考 资料 ， 
也 可 作为 网 络 安全 研究 人 员 的 入 门 基础 读物 。 随 着 新 技术 的 不 断 发 展 ,今后 
将 不 断 更 新 本 书 中 的 内 容 。 

在 本 书 的 编写 过 程 中 ,得 到 了 360 企业 安全 集团 的 斐 智勇 、 翟 胜 军 、 杨 进 
国 ,北京 邮电 大 学 雷 敏 等 专家 ,学 者 的 易 力 支持 ,在 此 对 他 们 的 工作 表示 衷心 
感谢 ! 

由 于 作者 水 平 有 限 , 书 中 难免 存在 芷 漏 和 不 妥 之 处 ,欢迎 读者 批评 指正 。 


作 者 
2018 年 12 月 
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站 站 


日 志 基 本 知识 


日 志 (log) 是 由 各 种 不 同 的 实体 产生 的 “事件 记录 ”的 集合 。 日 志 记录 是 将 事件 记录 
收集 到 日 志 中 的 行为 ,主要 分 为 安全 日 志 记录 运营 日 志 记 录 、 依 从 性 日 志 记录 和 应 用 程 
序 调 试 日 志 记录 4 种 基本 类 型 。 日 志 详 细 记录 了 谁 在 什么 时 间 对 某 个 对 象 进行 了 何 种 操 
作 所 产生 的 变化 。 

日 志 可 以 帮助 系统 进行 排 错 和 优化 。 在 安全 领域 ,日 志 可 以 用 于 故障 检测 和 入 侵 检 
测 ,反映 安全 攻击 行为 ,如 登录 错误 .异常 访问 等 。 日 志 不 仅 是 在 事故 发 生 后 查 明 * 发 生 了 
什么 ”的 一 个 很 好 的 “取证 ”信息 来 源 , 还 可 以 为 审计 进行 跟踪 。 此 外 ,安全 管理 人 员 可 以 
根据 网 络 安全 日 志 进 行 安全 追踪 和 溯源 ,并 进行 调查 取证 ,从 而 实现 设备 的 安全 运营 。 其 
主要 作用 有 以 下 3 个。 

(1) 根据 网 络 安全 日 志 可 以 安全 追踪 和 溯源 。 

(2) 根据 日 志 原 始 记录 信息 进行 调查 取证 。 

(3) 根据 运 维 日 志 实 现 设备 安全 运 维 。 

本 章 主 要 介绍 日 志 的 基础 知识 。 通 过 本 章 的 学 习 , 理 解 日 志 设备 产生 的 原因 日志 
理 设备 的 定义 .日 志 审 计 的 基本 概念 和 相关 的 法 律 法 规 . 日 志 收集 与 分 析 系统 的 基本 概念 
以 及 日 志 全 生命 周期 的 管理 。 


Ti 日 志 概 述 


1.1.1 日 志 设 备 产 生 的 原因 


随 着 网 络 规模 的 不 断 扩大 ,网 络 中 的 设备 数量 和 服务 类 型 越 来 越 多 ,这 给 系统 的 安全 
性 和 稳定 性 带 来 了 各 种 挑战 。 因 此 ,急需 对 系统 中 硬件 软件、 系统 数据 的 增 、 删 、 改 、 查 以 
及 对 系统 问题 进行 记录 ,从 而 可 以 有 效 地 掌握 系统 安全 状况 和 运行 情况 ,及 时 发 现 系 统 异 
常 并 快速 定位 、 解 决 问题 .补救 损失 。 与 此 同时 ,长 期 以 来 ,各 种 安全 事件 呈 几 何 级 增长 ， 
来 自 外 部 的 攻击 和 人 侵 事件 频 发 ,而 且 这 些 安全 事件 呈现 出 "组 织 性 针对 性 ?和 ”目的 性 ” 
等 特点 ,给 公民 的 财产 造成 巨大 损失 ,给 人 们 的 日 常 工 作 和 生活 带 来 极 大 威胁 。 因 此 ,要 
及 时 发 现 这 些 异 常 并 进行 防范 或 者 在 发 生 网 络 入 侵 之 后 使 损失 最 小 化 ,就 需要 对 网 络 中 
的 各 种 事件 信息 进行 记录 和 分 析 。 

日 志 通 常 是 计算 机 系统 、 设 备 、 软 件 等 在 某 种 情况 下 记录 的 信息 , 它 可 以 记录 系统 产 
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生 的 所 有 行为 并 按照 某 种 规范 将 这 些 行为 表达 出 来 。 这 些 信息 可 以 帮助 系统 排 错 、 优 化 
系统 的 性 能 ,管理 者 还 可 以 根据 这 些 信息 调整 系统 的 行为 。 在 安全 领域 ,日 志 主 要 用 于 描 
述 网 络 中 所 发 生 事 件 的 信息 ,包括 性 能 信息 ,故障 检测 和 入 侵 检测 ,这 些 信息 可 以 反映 出 
很 多 安全 攻击 行为 ,如 登录 错误 、 异 常 访问 等 。 日 志 是 在 事故 发 生 后 查 明 “ 发 生 了 什么 ”的 
一 个 很 好 的 “取证 ”信息 来 源 。 

日 志 在 维护 系统 稳定 性 和 安全 防护 方面 都 起 到 了 非常 重要 的 作用 ,由 此 ,对 日 志 进 行 
专门 记录 和 管理 的 设备 应 运 而 生 , 各 种 不 同 的 网 络 设备 .复杂 的 应 用 系统 以 及 数据 库 等 每 
天 都 会 以 各 自 的 标准 记录 大 量 相关 的 日 志 。 这 些 日 志 可 以 通过 专门 的 管理 设备 进行 管 
理 , 这 些 设备 称 为 日 志 管理 设备 。 


1.1.2 日志 管理 设备 的 定义 


日 志 设 备 是 指 产 生 “ 事 件 记录 ”的 各 种 设备 ,包括 网 络 设备 、 计 算 机 系统 、 数 据 库 或 者 
应 用 程序 等 。 企 业 信 息 系统 中 会 包含 多 种 日 志 设备 ,如 路 由 器 、 防 火 墙 ,入 侵 检测 系统 /入 
侵 防 御 系 统 (Intrusion Detection Systemy/JIntrusion Protection System, IDSVIPS) ,交换 
机 、 服 务 器 和 数据 库 等 。 以 下 对 常见 的 日 志 设 备 进 行 简要 介绍 ,详细 内 容 将 在 第 2 章 展开 
介绍 。 

网 络 设备 及 部 件 是 连接 到 网 络 中 的 物理 实体 。 网 络 设备 的 种 类 繁多 , 且 与 日 俱 增 。 
基本 的 网 络 设备 有 : 计算 机 (无 论 其 为 个 人 计算 机 或 服务 器 ) 集线器、 交换 机 、 网 桥 、. 路 由 
器 .网 关 、 网 络 接口 卡 (Network Interface Card, NIC) 无 线 接 人 点 (Wireless Access 
Point,WAP) .打印 机 和 调制 解 调 器 .光纤 收发 器 .光缆 等 。 

计算 机 系统 由 计算 机 硬件 和 软件 两 部 分 组 成 。 硬 件 包 括 中 央 处 理 器 存储 器 和 外 部 
设备 等 ;软件 是 计算 机 的 运行 程序 和 相应 的 文档 。 计 算 机 系统 具有 接收 和 存储 信息 , 按 程 
序 快速 计算 和 判断 并 输出 处 理 结 果 等 功能 。 常 见 的 系统 有 Windows、Linux 等 。 

数据 库 (database) 是 建立 在 计算 机 存储 设备 上 的 按照 数据 结构 组 织 、 存 储 和 管理 数 
据 的 仓库 ,用 户 可 以 对 文件 中 的 数据 进行 新 增 、 截 取 、 更 新 、 删 除 等 操作 。 

应 用 程序 指 为 完成 某 项 或 多 项 特定 工作 的 计算 机 程序 。 

由 于 日 志 的 种 类 很 多 ,生成 日 志 的 设备 多 种 多 样 ,所 以 很 难 定义 单一 的 标准 用 于 日 志 
记录 。 通 常 ,日 志 设 备 记 录 的 日 志 应 该 包含 如 下 基本 信息 。 

。 对 事件 内 容 辅 以 适当 的 细节 。 
事件 发 生 的 开始 时 间 和 结束 时 间 。 
事件 发 生 的 位 置 ( 哪 个 主机 、 什 么 文件 系统 、 哪 个 网 络 接 口 等 )。 

。 参与 者 。 
。 参与 者 来 源 。 

日 志 设 备 还 可 以 记录 其 他 更 多 与 事件 相关 的 详细 信息 。 

传统 的 日 志 能 够 反映 出 系统 运行 的 状态 变化 ,同时 能 够 对 端口 扫描 ,口令 破解 等 安全 
事件 进行 记录 。 现 有 的 部 分 安全 产品 能 够 将 多 条 日 志 进 行 关联 分 析 , 从 而 得 到 安全 事件 。 
由 于 日 志 能 够 对 系统 运行 中 的 特定 活动 进行 记录 ,系统 管理 人 员 和 安全 分 析 者 从 日 志 分 
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析 和 系统 安全 的 角度 出 发 ,可 归纳 出 日 志 具 有 以 下 特点 。 

(1) 日 志 格 式 具 有 多 样 性 。 

目前 国际 上 尚未 制定 出 统一 的 日 志 格式 标准 ,不 同 厂商 根据 自身 需求 制定 相应 的 日 
志 格 式 , 故 市 场 上 出 现 了 多 种 类 型 的 日 志 。 

(2) 日 志 数 据 量 很 大 。 

由 于 日 志 对 每 一 个 事件 均 进 行 记录 ,因此 ,无 论 是 操作 系统 ,还 是 网 络 设备 都 会 产生 
大 量 的 日 志 记 录 , 大 型 企业 的 防火 墙 .IDS 等 设备 每 天 可 产生 多 达 数 十 G 的 日 志文 件 。 

(3) 网 络 设备 日 志 具 有 时 空 关 联 性 。 

针对 某 个 特定 的 网 络 攻击 事件 ,不 同 的 安全 设备 通常 都 会 进行 记录 。 例 如 ,一 个 分 布 
式 拒绝 服务 (Distributed Denial of Service, DDoS) 攻 击 会 同时 在 防火 墙 和 IDS 日 志 中 留 
下 痕迹 。 因 此 ,结合 多 个 设备 日 志 , 采 用 数据 挖掘 算法 找 出 日 志 之 间 的 时 空 关 联 性 ,有 助 
于 提取 出 网 络 安全 事件 。 

(4) 日 志 信 息 容易 被 算 改 。 

计算 机 系统 和 相关 设备 的 日 志 是 以 文本 的 形式 存储 的 ,并 且 没 有 对 日 志 进 行 有 效 的 
保护 ,网 络 入 侵 者 可 能 对 日 志 信 息 进行 自 改 或 直接 删除 ,因此 存在 较 大 的 安全 隐患 。 

(5) 分 析 和 获取 日 志 数 据 困难 。 

不 同 设备 的 日 志 格式 差异 很 大 ,部 分 设备 日 志 信 息 需 要 专用 的 工具 才能 查看 ,给 日 志 
的 分 析 带 来 了 很 大 困难 。 

基于 上 述 日 志 的 特点 ,需要 通过 专门 的 管理 设备 对 日 志 进 行 管理 ,从 而 实现 对 日 志 信 
息 的 实时 监控 和 审计 整个 系统 的 运行 状况 ,这 些 设备 称 为 日 志 管理 设备 。 日 志 管 理 设备 
是 对 全 网 范围 内 的 主机 、 服 务 器 、 网 络 设备 .数据库 以 及 各 种 应 用 服务 系统 等 产生 的 日 志 
进行 全 面 收集 实现 日 志 的 集中 管理 和 存储 并 进行 细致 分 析 的 设备 ,支持 解析 任意 格式 、 
任意 来 源 的 日 志 。 


1.1.3 日 志 的 作用 


1. 安全 日 志 审计 : 网 络 追踪 淹 源 

网 络 追 踪 溯源 是 指 确定 网 络 攻击 者 身份 或 位 置 及 其 中 间 介 质 的 过 程 。 身 份 指 攻击 者 
名 字 、 账 号 或 与 之 有 关系 的 类 似 信息 ;位 置 包括 其 地 理 位 置 或 虚拟 地 址 ,如 IP 地 址 .MAC 
地 址 等 。 追 踪 溯 源 过 程 还 能 够 提供 其 他 辅助 信息 ,如 攻击 路 径 和 攻击 时 序 等 。 网 络 管理 
者 可 使 用 追踪 溯源 技术 定位 真正 的 攻击 源 , 以 采取 多 种 安全 策略 和 手段 ,从 源头 抑制 , 防 
止 网 络 攻击 带 来 更 大 的 破坏 ,并 记录 攻击 过 程 , 为 司法 取证 提供 必要 的 信息 支撑 。 在 网 络 
中 应 用 追踪 溯源 可 以 : 

。 确定 攻击 源 , 制 定 实 施 针 对 性 的 防御 策略 。 

。 确定 攻击 源 ,采取 拦截 隔离 等 手段 ,减轻 损害 ,保证 网 络 平稳 健康 地 运行 。 

。 确定 攻击 源 ,记录 攻击 过 程 ,为 司法 取证 提供 有 力 证 据 。 

网 络 管理 人 员 采 用 网 络 追 踪 溯 源 技术 , 调 取 并 分 析 事 件 发 生前 后 一 段 时 间 的 日 志 , 可 
以 发 现 攻 击 者 的 一 系列 行为 及 其 攻击 手段 。 调 取 的 日 志 内 容 包 含 所 发 生 问题 的 认证 日 
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志 、 服 务 器 操作 日 志 、 攻 击 事件 日 志 等 与 安全 相关 的 日 志 。 


2. 运 维 日 志 : 安全 运 维 

运 维 日 志 分 析 是 企业 网 络 运 维 管理 的 核心 部 分 。 通 过 运 维 通道 集中 、 网 络 运 维 日 志 
详细 记录 ,可 合理 安排 网 络 运 维 工作 ,实现 运 维 人 员工 作 的 量化 管理 ,提高 运 维 管理 要 求 
落地 的 自动 化 水 平和 强制 化 能 力 。 

(1) 运 维 故障 回溯 。 日 志 集中 管理 系统 及 审计 系统 详细 记录 了 运 维 人 员 的 日 常 运 维 
操作 ,可 通过 操作 命令 回放 方式 实现 日 常 运 维 操作 重 现 。 对 于 人 为 操作 故障 ,通过 日 志 回 
放 分 析 ,可 进行 操作 追溯 ,定位 故障 原因 。 

(2) 运 维 经 验 固化 。 通 过 日 志 集 中 管理 及 审计 系统 记录 的 运 维 操作 指令 流 ,可 完整 
模拟 日 常 运 维 操作 。 对 于 典型 维护 操作 场景 ,可 将 回放 作为 某 类 设备 配置 参考 ,将 优秀 运 
维 人 员 的 维护 经 验 固 化 ,全 网 推广 。 对 于 例 行 维护 操作 ,可 通过 日 志 分 析 * 提 取 一 固定 一 
自动 化 ”进一步 提高 效率 。 还 可 将 固化 的 典型 维护 操作 作为 新 员工 培训 教材 ,实现 运 维 知 
识 的 有 效 传递 。 

(3) 运 维 工作 量化 。 对 于 指令 标准 化 程度 高 的 网 元 ,通过 对 日 志 以 时 间 、 网 元 、 账 号 
等 维度 的 分 析 , 可 有 效 衡量 运 维 人 员 的 日 常 工作 量 , 解 决 运 维 工作 难以 量化 的 问题 。 

(4) 运 维 要 求 核查 。 网 络 运 维 中 很 重要 的 一 项 工作 是 操作 维护 作业 计划 。 但 在 实际 
管理 中 ,虽然 可 查看 操作 维护 记录 ,但 对 操作 人 员 是 否 执 行 相关 维护 作业 计划 、 执 行 结果 
如 何 , 却 缺乏 有 效 的 核查 手段 。 通 过 日 志 集 中 管理 及 审计 系统 记录 的 操作 记录 ,可 对 维护 
作业 计划 的 执行 时 间 频次、 结果 进行 有 效 的 核查 。 

(5) 合理 安排 运 维 工作 。 根 据 日 志 系 统统 计 的 运 维 人 员工 作 量 ,合理 安排 维护 人 员 
维护 网 元 数量 。 


3. 合 规 类 日 志 : 调查 取证 

取证 是 在 事件 发 生 后 重建 “发 生 了 什么 ”情景 的 过 程 。 这 种 描述 往往 基于 不 完整 的 信 
息 ,而 信息 可 信和 度 是 至 关 重要 的 。 日 志 是 取证 过 程 中 不 可 或 缺 的 组 成 部 分 。 

日 志 一 经 记录 ,就 不 会 因为 系统 的 正常 使 用 而 被 修改 ,这 意味 着 这 是 一 种 “永久 
性 ”的 记录 。 因 此 ,日 志 可 以 为 系统 中 其 他 可 能 更 容易 被 更 改 或 破坏 的 数据 提供 准确 
的 补充 。 

每 条 日 志 中 通常 都 有 时 间 惟 ,提供 每 个 事件 的 时 间 顺 序 。 而 且 , 日 志 通 常会 被 及 时 发 
送 到 另 一 台 主 机 (通常 是 一 个 集中 日 志 收 集 器 ) ,这 也 提供 了 独立 于 原始 来 源 的 一 个 证 据 
来 源 。 如 果 原 始 来 源 上 信息 的 准确 性 遭 到 质疑 (例如 ,入 侵 者 算 改 或 者 删除 了 日 志 ) ,独立 
的 信息 源 可 能 被 认为 是 更 可 靠 的 附加 来 源 。 同 样 ,不 同 来 源 甚至 不 同 站 点 的 日 志 可 以 佐 
证 其 他 证 据 ,提高 每 个 源 的 准确 性 。 

日 志 有 助 于 加 强 收集 到 的 其 他 证 据 。 重 现 事 件 往往 不 是 基于 一 部 分 信息 或 者 单个 信 
息 源 ,而 是 基于 来 自 各 种 来 源 的 数据 ,包括 文件 和 各 子 系统 上 的 时 间 截 .用户 的 命令 历史 
记录 、 网 络 数据 和 日 志 。 

通过 日 志 审 计 , 协 助 系统 管理 员 在 受到 攻击 ,或 者 发 生 重大 安全 事件 后 查看 网 络 日 
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志 , 从 而 评估 网 络 配 置 的 合理 性 、 安 全 策略 的 有 效 性 ,追溯 分 析 安 全 攻击 轨迹 ,并 能 为 实时 
防御 提供 手段 。 通 过 对 人 员 的 网 络 行 为 审计 ,确认 其 行为 的 合 规 性 ,确保 上 网 行为 管理 的 
安全 。 


1.2 日 志 审 计 


1.2.1 信息 系统 审计 概念 


信息 系统 审计 的 发 展 是 随 着 审计 理论 和 计算 机 理论 的 不 断 完 善 而 发 展 起 来 的 ,其 发 
展 过 程 大 致 可 分 为 起 步 阶 段 、 快 速 发 展 阶段 .成 熟 阶段 和 普及 阶段 。 


1. 1960 一 1970 年 : 信息 系统 审计 的 起 步 阶段 

这 一 时 期 , 随 着 计算 机 在 各 个 行业 的 广泛 运用 ,会 计 操作 也 从 纸 质 赁 证 向 电子 化 发 
展 ,审计 人 员 开 始 意识 到 计算 机 环境 下 开展 审计 业务 的 优势 ,逐渐 形成 了 信息 系统 审计 。 
但 总 的 来 说 ,这 一 时 期 信息 系统 审计 还 仅 处 于 新 生 阶段 ,专业 人 员 对 信息 系统 审计 的 认识 
比较 芽 乏 。 


2. 1970 一 1980 年 : 信息 系统 审计 的 快速 发 展 阶段 

这 一 时 期 ,计算 机 技术 和 审计 理论 进一步 发 展 ,计算 机 在 各 个 行业 、 各 种 业务 中 得 到 
更 广泛 的 运用 ,计算 机 数据 处 理 方法 和 管理 信息 系统 也 被 越 来 越 多 的 人 认可 ,信息 系统 理 
论 和 实务 方面 都 得 到 了 很 大 的 进步 。 在 实践 中 ,计算 机 辅助 审计 的 作用 也 日 益 突出 ,信息 
系统 审计 进入 发 展 阶段 。 

3. 1980 一 1990 年 : 信息 系统 审计 的 成 熟 阶 段 

随 着 计算 机 技术 的 日 益 完善 ,在 审计 过 程 中 大 规模 地 运用 计算 机 技术 也 不 再 罕见 , 然 
而 ,计算 机 技术 在 带 给 审计 人 员 便利 的 同时 ,也 带 来 很 多 计算 机 犯罪 案件 。 这 使 得 审计 部 
门 意识 到 信息 系统 防范 体系 还 不 够 成 熟 , 人 们 逐渐 意识 到 信息 系统 审计 的 重要 性 。1981 
年 ,美国 电子 数据 处 理 协会 开始 组 织 注册 信息 系统 审计 师 执业 考试 ,这 一 考试 的 出 现 标志 
着 信息 系统 审计 步 人 成 熟 阶 段 。 同 一 时 期 ,日 本 先后 派 遗 学 者 前 往 美 国学 习 信 息 系统 审 
计 理 论 和 实务 ,于 1985 年 也 出 台 了 《系统 审计 标准 ), 并 开展 “系统 审计 师 ” 考 试 , 这 标志 亚 
洲 信息 系统 审计 也 步 人 了 成 熟 阶段 。 


4. 1990 年 以 后 : 信息 系统 审计 的 普及 阶段 
这 一 时 期 ,信息 技术 进入 大 爆炸 时 期 ,信息 系统 的 发 展 呈 现 出 其 特有 的 复杂 化 和 网 络 
化 的 特征 。 信 息 系 统 审计 在 很 多 发 达 国 家 已 经 进入 普及 阶段 。1994 年 ,电子 数据 处 理 审 
计 师 协会 顺应 时 代 发 展 的 脚步 ,更 名 为 信息 系统 审计 与 控制 协会 ,从 此 ,该 协会 也 成 为 审 
计 工 作者 从 事 信 息 系 统 审 计 的 唯一 国际 组 织 。 尽 管 信息 系统 审计 已 经 进入 普及 期 ,但 是 
我 们 也 不 难看 出 信息 系统 审计 还 存在 很 多 不 足 ,特别 是 在 外 界 环境 不 断 变化 的 大 数据 时 
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代 , 需 要 更 多 专业 的 审计 人 员 为 信息 系统 审计 而 努力 ,让 信息 系统 审计 不 断 优化 。 

信息 系统 审计 逐渐 得 到 越 来 越 多 的 国家 和 部 门 的 重视 ,是 因为 有 其 存在 的 必要 性 。 
具体 来 说 : 首先 ,信息 系统 审计 是 公司 治理 的 重要 举措 。 在 计算 机 技术 发 展 刚刚 开始 的 
阶段 ,信息 系统 只 是 作为 一 种 后 台 支 撑 的 技术 手段 而 存在 。 但 是 , 随 着 计算 机 水 平 的 不 断 
提高 ,信息 系统 已 经 逐渐 转变 其 功能 ,成 为 各 个 企业 之 间 竞 争 的 重要 筹码 。 因 此 ,信息 系 
统 审 计 就 显得 格外 重要 ,对 信息 系统 进行 审计 可 以 确保 被 审计 单位 信息 系统 得 到 高 效 运 
转 ,并 根据 审计 结果 为 管理 层 提出 相应 的 改进 措施 ,促进 企业 不 断 提 高 其 竞争 力 ,实现 利 
润 最 大 化 。 其 次 ,信息 系统 审计 是 保证 企业 信息 化 发 展 的 必然 选择 。 随 着 计算 机 运用 范 
围 的 不 断 扩大 ,计算 机 水 平 的 提高 ,会 计 做 账 方式 也 从 手工 做 账 发 展 到 通过 计算 机 软件 进 
行 账 务 处 理 ,这 就 促使 了 计算 机 审计 的 产生 。 计 算 机 审计 使 得 审计 方法 从 手工 人 工 的 实 
际 操作 发 展 到 计算 机 水 平 。 但 是 , 随 着 计算 机 水 平 的 不 断 进 步 , 信 息 系统 涵盖 的 内 容 越 来 
越 多 ,从 最 基本 的 信息 存储 到 数据 分 析 都 可 以 在 信息 系统 中 完成 ,这 就 使 得 计算 机 审计 已 
经 不 能 满足 审计 目标 的 完成 。 因 此 ,信息 系统 审计 应 运 而 生 。 信 息 系统 审计 能 够 对 信息 
系统 从 开发 使 用 到 最 后 的 维护 等 整个 生命 周期 都 进行 审核 ,提高 了 审计 的 范围 ,增强 了 审 
计 的 安全 性 和 可 靠 性 。 

信息 系统 审计 是 一 个 通过 收集 和 评价 审计 证 据 , 对 信息 系统 是 否 能 够 保护 资产 的 安 
全 ,维护 数据 的 完整 有 效 实现 被 审计 单位 的 目标 、 使 组 织 的 资源 得 到 高 效 使 用 等 方面 做 
出 判断 的 过 程 。 国 际 通用 的 CC 准则 ( 即 ISO/IEC 15408-2:1999《 信 息 技 术 安 全 性 评估 准 
则 妨 中 给 出 了 信息 系统 安全 审计 (Information System Security Audit,ISSA) 的 明确 定 
义 : 信息 系统 安全 审计 主要 是 指 对 与 安全 有 关 活动 的 相关 信息 进行 识别 .记录 、 存 储 和 分 
析 ; 审 计 记 录 的 结果 用 于 检查 网 络 上 发 生 了 哪些 与 安全 有 关 的 活动 以 及 这 些 活动 的 负责 
主体 是 什么 。 审 计 的 主要 功能 包括 : 安全 审计 自动 响应 .安全 审计 数据 生成 、 安 全 审计 分 
析 安全 审计 浏览 .安全 审计 事件 选择 .安全 审计 事件 存储 等 。 

通俗 地 说 ,信息 安全 审计 就 是 信息 网 络 中 的 “监控 摄像 头 ”, 通 过 运用 各 种 技术 手段 监 
控 网 络 信息 系统 中 的 各 种 活动 ,记录 分 析 网 络 中 的 各 种 可 疑 行为 .违规 操作 、 敏 感 信息 , 帮 
助 定位 安全 事件 源头 和 追查 取证 ,防范 和 发 现 计 算 机 网 络 犯罪 活动 ,为 信息 系统 安全 策略 
制定 .风险 内 控 提 供 有 力 的 数据 支撑 。 

信息 系统 审计 过 程 与 一 般 审计 过 程 一 样 ,分 为 准备 阶段 、 实 施 阶 段 和 报告 阶段 。 甚 
中 ,准备 阶段 和 报告 阶段 涉及 的 技术 方法 与 财务 审计 运用 的 技术 方法 区 别 不 大 ,而 实施 阶 
段 涉及 的 技术 方法 则 具有 信息 技术 的 特色 。 在 实施 阶段 ,针对 被 审计 的 信息 系统 ,审计 人 
员 开 展 的 工作 可 以 分 为 3 个 层次 : 了 解 .描述 和 测试 。 

计算 机 信息 系统 环境 下 审计 技术 方法 与 手工 环境 下 传统 的 审计 技术 方法 相 比 , 增 加 
了 计算 机 技术 的 内 容 。 信 息 系统 审计 方法 既 包 括 一 般 方法 ( 即 手工 方法 ) ,也 包括 应 用 计 
算 机 审计 的 方法 。 信 息 系统 审计 的 一 般 方法 主要 用 于 对 信息 系统 的 了 解 和 描述 ,包括 面 
谈 法 、 系 统 文档 审阅 法 ,观察 法 ,计算 机 系统 文字 描述 法 、 表 格 描 述 法 、 图 形 描 述 法 等 。 应 
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用 计算 机 的 审计 方法 一 般 用 于 对 信息 系统 的 控制 测试 ,包括 测试 数据 法 .平行 模拟 法 、 在 
线 连续 审计 技术 (通过 徐 入 审计 模块 实现 )、 综 合 测试 法 、 受 控 处 理 法 和 受 控 再 处 理 法 等 。 
应 用 计算 机 技术 的 审计 方法 主要 是 指 计算 机 辅助 审计 技术 与 工具 的 运用 。 需 要 说 明 的 
是 ,不 能 把 计算 机 辅助 审计 技术 与 工具 的 使 用 过 程 与 信息 系统 审计 等 同 起 来 。 在 信息 系 
统 审计 的 过 程 中 ,仍然 需要 运用 大 量 的 手工 审计 技术 。 

综 上 所 述 ,信息 系统 审计 的 作用 具体 表现 为 以 下 3 点 。 

1) 有 效 提 高 信息 系统 的 可 靠 性 

信息 系统 审计 是 一 种 在 整个 审计 过 程 中 都 进行 监督 的 审计 方法 。 基 于 信息 系统 审计 
的 特点 ,通过 对 信息 系统 早期 开发 阶段 的 审计 , 较 早 地 发 现 不 足 , 从 而 尽 可 能 防止 信息 系 
统 后 期 可 能 出 现 的 死机 或 由 于 用 户 操作 的 失误 而 产生 的 严重 后 果 。 

2) 提高 信息 系统 的 安全 性 

在 大 数据 技术 的 支持 下 ,信息 系统 审计 能 够 有 效 地 保证 信息 系统 的 安全 性 。 因 为 在 
大 数据 技术 的 支持 下 ,可 以 对 信息 系统 进行 实时 测试 和 评价 ,从 而 能 够 及 时 防止 信息 数据 
泄漏 ,保证 信息 安全 。 

3) 提高 信息 系统 运行 的 效率 

随 着 信息 系统 审计 逐步 应 用 大 数据 技术 ,可 利用 其 高 效 连贯 的 运行 特点 ,最 大 限度 地 
利用 数据 资源 ,对 信息 系统 进行 审查 和 评价 ,提高 信息 系统 运行 的 效率 。 


1.2.2 “日志 审计 概念 


日 志文 件 为 服务 器 .工作 站 .防火墙 和 应 用 软件 等 信息 技术 (Information Technology， 
IT) 资 源 相 关 活动 记录 必要 的 \ 有 价值 的 信息 ,这 对 系统 监控 查询、 报表 和 安全 审计 都 十 
分 重要 。 日 志文 件 中 的 记录 可 提供 监控 系统 资源 ,审计 用 户 行为 ,对 可 疑 行为 进行 告警 ， 
确定 入 侵 行为 的 范围 ,为 恢复 系统 提供 帮助 ,生成 调查 报告 ,为 打击 计算 机 犯罪 提供 证 据 
来 源 。 通 过 对 日 志 进 行 过 滤 、 归 并 和 告警 分 析 处 理 , 可 以 定义 日 志 筛选 规则 和 策略 ,准确 
定位 网 络 故障 并 提前 识别 安全 威胁 ,从 而 提升 网 络 性 能 、 保 障 企业 网 络 安全 。 

日 志 审 计 通 过 集中 收集 并 监控 信息 系统 中 的 系统 日 志 、 设 备 日 志 、 应 用 日 志 、 用 户 访 
问 行为 ,系统 运行 状态 等 各 类 信息 ,进行 过 滤 .归并 和 告警 分 析 处 理 ,建立 起 一 套 面向 整个 
系统 日 志 的 安全 监控 管理 体系 ,将 信息 系统 的 安全 状态 以 最 直观 的 方式 呈现 给 管理 者 , 既 
能 提高 安全 审计 的 效率 与 准确 性 ,也 有 助 于 及 时 发 现 安全 隐患 ,快速 定位 故障 、 追 查 事故 
责任 ,并 能 够 满足 各 项 标准 ,法 规 的 合 规 性 管理 要 求 。 

一 个 完整 的 日 志 审 计 包 括 4 个 部 分 : 日 志 获取 日 志 筛 选 、 日 志 整 合 以 及 日 志 分 析 ， 
如 图 1-1 所 示 。 

日 志 获 取 对 象 一 般 为 操作 系统 、 网 络 设 备 、 安 全 设备 和 数据 库 等 。 例 如 ,在 下 一 代 防 
火 墙 中 ,日 志 获 取 对 象 为 防火 墙 的 各 种 动作 。 日 志 获 取 过 程 针 对 各 种 设备 获取 各 种 日 志 ， 
并 将 各 类 日 志 转 换 为 统一 的 格式 ,便于 后 续 过 程 对 获取 到 的 日 志 进 行 处 理 和 分 析 。 


mm 日志 审 计 与 分 析  EEEE 


日 志 获 取 日 志 饰 选 日 志 整 合 日 志 分 析 

_ 完备 的 日 志 属 .高 流量 

获取 过 程 : 行为 分 析 .高 频率 

得 到 设备 恶意 行为 日 志 | | || . 行为 方向 分 析 || ||. 高 并 发 量 
获取 各 种 日 志 性 * 数据 流 分 析 “非常 规 时 间 自 
格式 转换 日 志 筛选 方法 | | | | 关联 的 设备 * 非法 请 求 

其 他 属性 ， 
将 各 类 日 志 转 结合 日 志 属 性 | | | 单一 时 间 对 所 有 相 恶意 事件 
换 为 统一 格式 逐一 利 先 关 日 志 进 行 整合 趋势 分 析 
日 志 审 计 的 4 个 流程 


1-1 日 志 审 计 流程 图 


日 志 筛选 的 目的 是 找 出 恶意 行为 或 可 能 是 恶意 行为 的 事件 ,并 作为 日 志 组 合 的 基础 。 
通过 对 比 恶意 行为 特征 及 对 应 的 日 志 属性 ,确认 可 能 的 恶意 行为 事件 ,如 图 1-2 所 示 。 


全 面 的 日 志 属 性 筛选 条 件 属 性 各 属性 关注 点 
/TN 
地 址 | 非 业务 时 间 、 一 段 时 
日 期 一 至 | 一 间 内 高 访问 量 事件 
ee 
[5 二 
[一 
ID 对 象 (wi) Sa 
~ 
1 
和 


1-2 日 志 筛选 示意 图 


日 志 整 合 是 将 同一 路 径 各 种 设备 的 同一 事件 关联 表达 出 来 。 通 过 确认 行为 ,行为 方 
向 以 及 数据 流 是 否 一 致 确定 日 志 是 否 为 同一 路 径 。 

日 志 分 析 是 系统 的 核心 ,主要 涉及 系统 的 关联 规则 和 联动 机 制 。 关 联 分 析 技 术 将 不 
同 分 析 器 上 产生 的 报警 进行 融合 与 关联 . 即 对 一 段 时 间 内 多 个 事件 间 及 事件 中 的 关系 进 
行 识别 , 找 出 事件 的 根源 ,最 终 形成 审计 分 析 报 告 ,其 具体 流程 如 图 1-3 所 示 。 

日 志 审 计 的 实现 方法 主要 有 两 种 : 一 个 是 基于 规则 库 , 具 体 方法 是 对 已 知 攻击 的 特 
征 进行 分 析 , 并 从 中 提取 规则 ,进而 由 各 种 规则 组 合成 为 规则 库 , 系 统 在 运行 过 程 中 匹配 
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系统 事件 ”[ 一 一 | 审计 发 生 器 


ee 日 志文 件 
安全 事件 一 | em 
应 用 事件 | 审计 发 生 器 
Ee 审计 策略 
网 络 事件 一 -| 审计 发 生 器 se 和 规则 


其 他 事件 一 -| 审计 发 生 器 Ey 


图 1-3 日 志 分 析 


这 些 规则 库 中 的 规则 信息 ,从 而 生成 告警 ;二 是 数理 统计 方法 ,此 方法 是 给 网 络 流量 、 中 央 
处 理 器 (Central Processing Unit,CPU) 占 用 率 等 相关 数据 设置 一 个 靖 值 , 当 超 过 这 个 阔 
值 就 发 出 告警 。 

日 志 审计 系统 作为 一 个 日 志 信 息 的 综合 性 管理 平台 ,能 够 实时 收集 日 志 信 息 并 对 收 
集 到 的 日 志 进 行 格式 标准 化 处 理 , 实 时 全 面 的 日 志 分 析 , 及 时 发 现 各 类 具有 安全 威胁 和 异 
常 行为 的 事件 并 发 出 相应 的 告警 信息 。 为 了 及 时 反映 安全 状态 ,日 志 审 计 系 统 需要 实时 
收集 日 志 记 载 的 用 户 访问 操作 ,系统 状态 变更 等 信息 ,然后 对 这 些 日 志 信 息 进 行 收集 和 分 

析 ,并 进行 规范 化 和 报警 分 析 ,形成 相应 的 审计 报告 。 

日 志 审 计 系统 可 以 实时 展现 系统 的 整体 运行 情况 以 及 各 个 设备 的 运行 状况 ,并 且 能 
够 及 时 发 现 系统 中 已 发 生 或 者 正在 发 生 的 危险 事件 ,甚至 可 以 预测 可 能 发 生 的 风险 。 此 
外 ,通过 离线 分 析 ,安全 运 维 人 员 可 以 便捷 地 对 系统 进行 有 针对 性 的 安全 审计 并 得 到 专业 
报表 。 遇 到 安全 事件 和 系统 故障 时 ,日 志 审 计 系统 可 以 帮助 安全 运 维 人 员 快 速 定位 故障 
位 置 和 状况 。 


1.2.3 ”日志 审计 法 律 法 规 


信息 系统 审计 是 企业 和 组 织 IT 内 控 过 程 中 最 关键 的 环节 。 信 息 系 统 审 计 通 过 对 关 
键 控制 点 的 符合 性 测试 判断 IT 内 控 的 目标 及 其 控制 措施 是 否 有 效 。 

为 了 建立 、 健 全 内 控 体 系 ,政府 及 相关 行业 已 相继 推出 数 十 部 法 律 法 规 ,如 国家 (企业 
内 控 基 本 规范 》、 国 家 《计算 机 信息 系统 安全 等 级 保护 划分 准则 》。 同 时 ,银行 证券. 通信 
行业 均 提 出 了 相关 标准 及 要 求 , 确 立 了 面向 内 控 的 信息 安全 审计 的 必要 性 。 国 家 法 律 法 
规 , 尤 其 是 等 级 保护 ,从 二 级 以 上 就 明确 要 求 进行 常规 化 的 安全 审计 , 尤 指 日 志 审计 。 日 
志 审 计 的 相关 法 律 法 规 见 表 1-1。 
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法 律 法 规 


表 1-1 日 志 审 计 的 相关 法 律 法 规 


相关 条 款 


与 日 志 审 计 相关 的 主要 内 容 


网 络 安全 法 


第 二 十 一 条 


国家 实行 网 络 安全 等 级 保护 制度 。 网 络 运营 者 应 当 按照 网 络 安 

全 等 级 保护 制度 的 要 求 , 履 行 下 列 安全 保护 义务 ,保障 网 络 免 受 

干扰 、 破 坏 或 者 未 经 授权 的 访问 ,防止 网 络 数据 泄漏 或 者 被 窃 

取 、 臭 改 : 

(一 ) 制定 内 部 安全 管理 制度 和 操作 规程 ,确定 网 络 安全 负责 人 ， 
落实 网 络 安全 保护 责任 ; 

(二 ) 采取 防范 计算 机 病毒 和 网 络 攻击 、 网 络 侵入 等 危害 网 络 安 
全 行为 的 技术 措施 ; 

(三 ) 采取 监测 、 记 录 网 络 运行 状态 、 网 络 安 全 事件 的 技术 措施 ， 
并 按照 规定 留存 相关 的 网 络 日 志 不 少 于 6 个 月 ， 

(四 ) 采取 数据 分 类 、 重 要 数据 备份 和 加 密 等 措施 ; 

(五 ) 法 律 .行政 法 规 规定 的 其 他 义务 


《信息 系统 安全 
等 级 化 保护 基本 
要 求 》 


对 于 网 络 安全 、 
主机 安全 和 应 用 
安全 部 分 


从 第 二 级 开始 ,针对 网 络 安全 、 主 机 安全 ,应 用 安全 都 有 明确 的 
安全 审计 控制 点 。 在 管理 要 求 中 ,“ 安 全 事件 处 置 ” 控 制 点 从 第 
二 级 开始 要 求 对 日 志和 告警 事件 进行 存储 ;从 第 三 级 开始 提出 
了 “监控 管理 与 安全 管理 中 心 ” 的 控制 点 要 求 


ISO 27001:2005 


4.3. 3 记录 控制 


记录 应 建立 并 加 以 保持 ,以 提供 符合 信息 安全 管理 体系 (ISMS) 
要 求 和 有 效 运行 的 证 据 


《企业 内 部 控制 
基本 规范 》 


第 四 十 一 条 


企业 应 当 加 强 对 信息 系统 的 开发 与 维护 、 访 问 与 变更 .数据 输入 
与 输出 文件 存储 与 保管 .网 络 安全 等 方面 的 控制 ,保证 信息 系 
统 安全 ,稳定 地 运行 ( 注 : 间接 要 求 安全 审计 ) 


《商业 银行 内 部 
控制 指引 》 


第 一 百 二 十 六 条 


商业 银行 的 网 络 设备 .操作 系统 、 数 据 库 系统 .应 用 程序 等 均 当 设 
置 必 要 的 日 志 。 日 志 应 当 能 够 满足 各 类 内 部 和 外 部 审计 的 需要 


《银行 业 信息 科技 
风险 管理 指引 》 


第 二 十 五 条 


对 于 所 有 计算 机 操作 系统 和 系统 软件 的 安全 ,在 系统 日 志 中 记 
录 不 成 功 的 登录 、 重 要 系统 文件 的 访问 、 对 用 户 账户 的 修改 等 有 
关 重要 事项 ,手动 或 自动 监控 系统 出 现 的 任何 异常 事件 ,定期 汇 
报 监控 情况 


第 二 十 六 条 


对 于 所 有 信息 系统 的 安全 ,以 书面 或 者 电子 格式 保存 审计 痕迹 ; 
要 求 用 户 管 理 员 监控 和 审查 未 成 功 的 登录 和 用 户 账户 的 修改 


第 二 十 七 条 


银行 业 应 制定 相关 策略 和 流程 ,管理 所 有 生产 系统 的 日 志 , 以 支 
持 有 效 的 审核 安全 取证 分 析 和 预防 欺诈 


《证 券 公 司 内 部 
控制 指引 》 


第 一 百 一 十 七 条 


证 券 公司 应 保证 信息 系统 日 志 的 完备 性 ,确保 所 有 重大 修改 都 
被 完整 地 记录 ,确保 开启 审计 留 痕 功能 。 证 券 公司 信息 系统 日 
志 应 至 少 保存 15 年 


《互联 网 安全 保护 
技术 措施 规定 》 
(公安 部 82 号 令 ) 


第 八条 


记录 、 跟 踪 网 络 运行 状态 ,监测 、 记 录用 户 各 种 信息 ,网络 安 全 事 
件 等 安全 审计 功能 


萨 班 斯 (SOX) 
法 案 
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第 404 款 


公司 管理 层 对 建立 和 维护 内 部 控制 系统 及 相应 控制 程序 充分 有 
效 的 责任 ;发 行人 管理 层 最 近 财 政 年 度 末 对 内 部 控制 体系 及 控 
制程 序 有 效 性 的 评价 。( 注 : 在 SOX 中 ,信息 系统 日 志 审计 系统 
及 其 审计 结果 是 评判 内 控 评 价 有 效 性 的 一 个 重要 工具 和 佐证 。》 


Eee 第 1 章 日 志 基 本 知识 mm 


1.2.4 日 志 审 计 面临 挑战 


随 着 网 络 规模 的 不 断 扩大 ,网 络 中 的 设备 数量 和 服务 类 型 越 来 越 多 ,网 络 中 的 关键 设 
备 和 服务 器 产生 了 大 量 的 日 志 信息 ,其 主要 特点 如 下 。 

。 数据 量 大 。 

。 日 志 输 出 方式 多 种 多 样 。 

。 日 志 格 式 复杂 ,可 读 性 差 。 

。 分析 备份 工作 繁杂 。 

。 日 志 数 据 易 被 自 改 或 删除 。 

安全 管理 人 员 面 对 这 些 数量 巨大 、 彼 此 割裂 的 安全 信息 ,操作 各 种 产品 自身 的 控制 台 
界面 和 告警 窗口 ,工作 效率 极 低 ,难以 发 现 真正 的 安全 隐患 。 当 今 的 企业 和 组 织 在 IT 信 
息 安 全 领域 面临 比 以 往 更 为 复杂 的 局 面 。 这 既 有 来 自 企 业 和 组 织 外 部 的 层出不穷 的 入 侵 
和 攻击 ,也 有 来 自 企业 和 组 织 内 部 的 违规 和 泄漏 。 

为 了 不 断 应 对 新 的 安全 挑战 ,企业 和 组 织 都 会 部 署 防 病毒 系统 、 防 火 墙 \ 入 侵 检 测 系 
统 、 漏 洞 扫描 系统 、 统 一 威胁 管理 (Unified Threat Management, UTM) 等 。 这 些 安全 系 
统 都 仅 能 抵御 来 自 某 个 方面 的 安全 威胁 ,形成 了 一 个 个 安全 防御 孤岛 ,无 法 产生 协同 效 
应 。 更 严重 的 是 ,这 些 复杂 的 IT 资源 及 其 安全 防御 设施 在 运行 过 程 中 不 断 产生 大 量 的 
安全 日 志 并 且 输 出 方式 多 种 多 样 , 这 对 安全 管理 人 员 即 时 、 高 效 地 发 现 安全 隐患 带 来 了 极 
大 的 挑战 。 

另 一 方面 ,企业 和 组 织 日 益 迫 切 的 信息 系统 审计 和 内 控 , 以 及 不 断 增强 的 业务 持续 性 
需求 ,也 对 当前 日 志 审 计 提 出 了 严峻 的 挑战 ,尤其 是 国家 信息 系统 等 级 保护 制度 的 出 台 ， 
明确 要 求 二 级 以 上 的 信息 系统 必须 对 网 络 .主机 和 应 用 进行 安全 审计 。 

综 上 所 述 ,企业 和 组 织 迫 切 需要 一 个 全 面 的 ,面向 企业 和 组 织 IT 资源 (信息 系统 保 
护 环境 ) 的 、 集 中 的 安全 审计 平台 及 其 系统 ,这 个 系统 能 够 实时 不 间断 地 将 企业 和 组 织 中 
来 自 不 同 厂商 的 安全 设备 、 网 络 设备 .主机 、 操 作 系统 .数据库 系 统 . 用 户 业 务 系统 的 日 志 、 
警报 等 信息 汇集 到 审计 中 心 ,并 进行 存储 监控、 审计、 分 析 、 报 警 .响应 和 报告 。 因 此 ,日 
志 审 计 正 面临 着 以 下 挑战 : 日 志 审 计 系 统 面 对 的 IT 环境 中 设备 日 志 信 息 量 十 分 巨大 ;日 
志 审 计 系 统 对 信息 处 理 提 出 了 实时 性 要 求 ,期 望 快 速 发 现 故障 与 问题 ;日志 审计 系统 所 处 
理 的 日 志 信 息 具 有 不 同 的 存储 格式 和 收集 方式 ,需要 对 多 样 化 的 日 志 信息 进行 处 理 ;日 志 
审计 系统 的 关注 点 在 于 海量 日 志 中 有 价值 的 部 分 ,而 不 仅仅 关注 需要 告警 的 日 志 信 息 , 因 
而 需要 对 信息 做 深度 挖掘 。 


1.3 日 志 收 集 与 分 析 系 统 


1.3.1 日 志 收 集 与 分 析 系 统 介 绍 


日 志 收 集 与 分 析 系 统 的 最 终 目的 是 实现 对 多 种 设备 以 及 多 种 收集 方式 的 日 志和 事件 
让 全 
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的 支持 ,并 提供 强大 的 日 志和 事件 处 理 、 统 计 、 分 析 和 查询 功能 ,实现 科学 的 企业 管理 网 
络 ,逐步 增强 企业 的 网 络 安全 管理 力度 。 这 些 收集 方式 包括 基于 SNMP TRAP 的 收集 、 
基于 Syslog 的 收集 、 基 于 Netflow 的 收集 、 基 于 专 有 协议 的 收集 等 。 通 过 对 企业 内 网 中 
产生 的 全 部 事件 进行 实时 查询 与 分 析 , 以 及 精确 描述 安全 事件 规则 与 各 种 监控 查询 ,保证 
系统 能 够 达到 较 高 的 处 理性 能 ,具有 很 强 的 灵活 性 与 完整 性 。 

基于 以 上 日 志 收 集 与 分 析 系 统 的 概述 ,各 安全 厂商 都 在 设计 实现 自己 的 日 志 收 集 与 
分 析 系 统 产品 ,各 厂商 的 产品 各 有 特点 。 日 志 收 集 与 分 析 系 统 是 一 个 全 面 的 ,智能 的 网 络 
日 志和 事件 管理 ,分 析 工 具 , 可 以 提供 丰富 的 日 志和 事件 管理 ,分 析 功 能 。 它 主要 包含 两 
大 组 成 部 分 : 管理 服务 器 和 管理 客户 端 ,其 基本 结构 如 图 1-4 所 示 ,客户 端的 各 项 功能 在 
服务 正确 启动 后 才能 使 用 ,同时 ,被 管理 设备 需要 进行 集中 管理 配置 和 日 志 服 务 器 配置 ， 
管理 系统 才能 得 到 相关 的 设备 信息 ,进行 各 项 配置 管理 功能 。 


管理 客户 端 管理 服务 器 安全 设备 
1-4 日 志 收集 与 分 析 系 统 组 成 结构 图 


管理 服务 器 负责 收集 日 志 信息 ,能 够 支持 国内 外 大 部 分 主流 的 设备 .系统 品牌 和 型 
号 ,可 灵活 扩展 ;通过 归 一 化 和 智能 日 志 关 联 分 析 引 擎 ,协助 用 户 准确 .快速 地 识别 安全 事 
故 , 实 现 对 企业 和 组 织 的 IT 资源 中 构成 业务 信息 系统 的 各 种 网 络 设备 、 安 全 设备 、 安 全 
系统 .主机 操作 系统 、 数 据 库 以 及 各 种 应 用 系统 的 日 志 、 事 件 .告警 等 安全 信息 进行 全 面 的 
审计 ,帮助 企业 及 时 做 出 响应 。 

管理 客户 端 与 管理 服务 器 互相 配合 运行 ,为 客户 提供 本 地 服务 ,可 以 为 用 户 提供 一 个 
从 总 体 上 把 握 企业 和 组 织 整体 安全 情况 的 界面 ,也 可 以 成 为 仪表 板 。 通 过 主页 ,用 户 可 以 
从 不 同 的 角度 了 解 系统 中 的 实时 信息 ,并 通过 各 种 统计 图 表 ( 图 形 化 显示 ) 获 知 当前 的 安 
全 状况 ,还 可 以 横向 或 者 面向 业务 的 模式 进行 对 比分 析 ; 用 户 还 可 以 通过 客户 端 对 资产 进 
行 管理 ,方便 地 进行 设备 的 增加 、 修 改 、 删 除 和 查询 ,并 可 以 对 设备 当前 的 日 志 、 事 件 进行 
实时 的 等 级 统计 。 

日 志 收 集 与 分 析 系 统 是 一 个 统一 日 志 监 控 与 审计 的 平台 , 它 能 持续 地 将 来 自 不 同 厂 
商 的 数据 库 系统 \ 安 全 设备 警报、 操作 系统 等 信息 发 送 至 审计 中 心 ,并 进行 集中 化 的 收 
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集 、 分 析 、 告 警 和 响应 ,从 而 出 具 丰 富 的 报表 报告 ,实现 对 用 户 环境 中 的 日 志 进 行 合 规 性 
审计 。 


1.3.2 ”系统 功能 


基于 以 上 描述 ,日 志 收 集 与 分 析 系 统 可 以 告诉 用 户 很 多 关于 网 络 中 所 发 生 事件 的 信 
息 ,主要 包含 以 下 功能 : 资源 管理 .人 侵 检测 ,故障 排除 、 取 证 和 审计。 


1. 资源 管理 

日 志 可 以 按照 设备 资产 重要 程度 和 管理 域 的 方式 组 织 设备 资产 ,提供 便捷 的 添加 、 修 
改 、 删 除 、 查 询 与 统计 功能 ,支持 资产 信息 的 批量 导入 和 导出 ,便于 安全 管理 和 系统 管理 人 
员 能 方便 地 查找 所 需 设备 资产 的 信息 ,并 对 资产 进行 关键 度 赋值 。 例 如 ,监控 一 台 主 机 是 
否 在 线 的 典型 方法 之 一 是 使 用 因特网 控制 报 文 协议 (Internet Control Message Protocol， 
ICMP)“ping” 主 机 。 但 是 ,这 里 给 出 的 信息 不 够 准确 ,成 功 “ping” 一 个 主机 只 能 说 明 它 的 
网 络 接口 配置 没有 问题 。 但 有 时 一 台 主 机 可 能 已 经 崩溃 ,而 此 时 只 要 它 配 置 好 并 且 有 电 ， 
接口 就 能 响应 。 

以 下 是 一 个 系统 消息 的 示例 。 


May 24 02:00:36 somehost -- MARK - - 
May 24 02:20:36 somehost -- MARK -- 
May 24 02 :40:36 somehost - - MARK - - 
May 24 03 :00:36 somehost - - MARK - - 


上 述 消 息 说 明 系 统 正在 运行 , Syslog 可 以 写 和 人 消息 。CMARK 消息 是 一 种 UNIX 
Syslog 守护 进程 定期 生成 的 特殊 状态 消息 。) 

通过 日 志 不 仅 可 以 判断 主机 是 否 在 运行 ,还 能 判断 主机 上 运行 的 应 用 程序 在 做 什么 。 
在 系统 真正 死机 前 ,日 志 中 通常 会 展现 系统 的 硬件 和 软件 的 错误 。 当 错误 修正 的 时 候 , 日 
志 通 常 可 以 提供 导致 故障 的 线索 。 

以 下 是 在 日 志 中 找到 故障 的 经 典 例子 。 


May21 08 :33:00 foo.exrample. comz kernel: pid 1427 (dd). uid 2 inumber 8329 


on /var: filesystem full 


上 述 消息 说 明 主 机 上 的 var 文件 系统 已 经 用 满 。 消 息 中 显示 的 男 一 个 消息 是 导致 这 
个 错误 发 生 的 进程 的 名 字 和 进程 ID。 除 此 之 外 , 它 还 显示 被 写 人 文件 的 节点 名 称 。 在 这 
种 情况 下 ,显示 的 进程 可 能 并 不 是 填 满 磁盘 的 那 一 个 , 它 可 能 只 是 在 分 区 已 被 填 满 的 情况 
下 试图 写 人 数据 。 


2. 入 侵 检 测 
主机 日 志 不 同 于 网 络 人 侵 侦 测 系 统 (Network Intrusion Detection Systems,NIDS ) ， 
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对 入 侵 检 测 非常 有 用 。 例 如 ,如 下 记录 : 


Sep 17 07: 00:02 host. example. com: sshd [ 721038 ]: Failed password or 
illegal user erin from 192. 168.2.4 port 44670 ssh2 


这 条 日 志 消 息 显示 了 用 户 名 为 erin” 的 失败 登录 尝试 。“illegal user”( 非 法 用 户 ) 一 
词 的 使 用 是 因为 系统 上 并 没有 这 个 账户 。 该 条 消息 是 一 个 攻击 者 使 用 安全 外 壳 协 议 
(Secure Shell,SSH) 扫 描 器 ,试图 用 一 组 常用 的 用 户 名 和 密码 通过 SSH 登录 主机 的 结 
果 , 这 个 例子 是 从 很 短 时 间 内 发 动 数 千 次 攻击 中 选 出 来 的 。 主 机 日 志 可 能 是 比 NIDS 更 
好 的 入 侵 指示 器 。NIDS 能 够 告诉 管理 员 针 对 主机 发 生 了 一 次 攻击 ,但 是 不 能 表明 攻击 
是 否 成 功 。 在 上 面 的 例子 中 ,NIDS 只 能 检测 到 很 短 的 时 间 内 可 能 发 生 了 大 量 SSH 会 
话 , 却 不 能 检测 到 认证 已 经 失败 ,因为 NIDS 只 能 知道 线路 上 发 生 的 事情 。 但 是 ,如 果 配 
置 了 主机 日 志 , 就 可 以 查看 系统 上 发 生 情况 的 细节 。 因 为 主机 可 能 会 记录 下 错误 的 时 间 
或 者 主机 磁盘 满 的 情况 ,攻击 者 也 有 可 能 擦 除 日 志文 件 ,将 日 志 发 送 到 远程 收集 点 进行 备 
份 ,即使 攻击 者 掩盖 了 他 的 痕迹 ,在 日 志 收集 点 上 也 保存 了 原始 日 志 消息 ,揭示 可 能 发 生 
的 情况 。 下 面 是 一 条 来 自 Snort( 一 个 开源 NIDS) 的 消息 。 


Jan 2 16 :19 :23 host.ezramaple. com snort[ 1260]: RPC Info Query: 10.2.3.4 
一 二 /ost. example. com:111 

Jan2 16 :19:31 host.erample. com siort[1260]: spp_portscan: portscan 
status from 10.2.3.4: 2 connections across 1 hosts: TCP(2). UDP(0) 


这 些 消息 表明 攻击 者 对 网 络 做 了 一 次 端口 扫描 ,试图 寻找 运行 rcp. statd 的 主机 ,还 
表明 扫描 器 成 功 连 上 了 两 台 主 机 ,但 是 snort 并 不 知道 攻击 是 否 成 功 取得 了 进入 机 器 的 
权限 以 及 连接 是 否 被 TCP Wrappers 断 开 。 而 运行 TCP Wrappers 的 系统 更 可 能 记录 了 
连接 是 否 断 开 的 日 志 , 如 果 该 系统 被 设置 成 记录 日 志 , 就 能 够 把 snort 日 志 消 息 和 TCP 
Wrappers 的 消息 关联 起 来 , 互 为 补充 ,更 好 地 展示 实际 发 生 的 情况 。 

NIDS 不 能 够 揭示 攻击 是 否 成 功 , 只 能 告诉 管理 者 可 能 有 人 试图 攻击 ,真正 的 攻击 信 
息 被 记录 在 主机 上 , 即 NIDS 提示 用 户 及 时 查看 日 志 , 但 是 仅 靠 NIDS 无 法 提供 完整 状 
况 。 虽 然 主 机 日 志 并 不 总 能 准确 地 说 明 发 生 了 什么 ,但 是 将 NIDS 和 日 志 结 合 起 来 比 
NIDS 本 身 的 作用 更 大 。 

日 志 记 录 了 系统 中 到 底 发 生 了 什么 ,而 NIDS 往往 不 能 告诉 管理 者 有 用 户 尝试 利用 
主机 的 本 地 漏洞 ,也 不 能 说 明 有 用 户 违反 了 策略 或 者 进行 其 他 不 允许 的 活动 。 主 机 入 侵 
检测 系统 (Host Intrusion Detection System,HIDS) 填 补 了 这 方面 的 空白 。HIDS 监控 计 
算 机 系统 的 运行 状态 ,通过 校 验 和 以 及 其 他 一 些 技术 监控 用 户 、 目 录 、 二 进 制 文件 .日志 
件 本 身 以 及 其 他 一 些 对 象 ,检测 其 何 时 遭 到 恶意 用 户 、 遭 到 入 侵 ,或 者 修改 的 应 用 程序 的 
算 改 ,HIDS 系统 在 检测 到 系统 资源 修改 的 时 候 生成 日 志 。 

此 外 ,用 户 行为 也 包含 在 系统 日 志 中 , 当 一 个 用 户 登录 、 注 销 或 者 从 某 处 进入 等 情况 
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发 生 时 ,有 些 日 志 ( 如 进程 账户 日 志 ) 会 告诉 你 一 些 关 于 用 户 行 为 的 信息 。 系 统 “ 审 计 ” 工 
具 如 业务 服务 管理 (Business Service Management, BSM) 能 够 提供 粒度 更 细 的 用 户 和 系 
统 活动 详情 。 

3. 故障 排除 

日 志 对 故障 排除 也 很 有 价值 意义 。 以 Syslog 为 例 ,事实 上 Syslog 就 是 为 了 这 个 目的 
而 设计 的 。 

当前 的 故障 检测 系统 ,如 网 络 管理 系统 (Network Management System, NMS) 等 , 基 
本 上 都 依赖 于 监听 通告 ,对 系统 中 的 故障 诊断 依赖 于 网 络 状 态 所 设置 的 参数 , 当 系 统 中 的 
某 一 个 或 多 个 状态 到 达 网 络 参数 的 阔 值 时 ,会 进行 相应 的 故障 定位 和 通知 ,但 是 这 样 并 不 
能 在 用 户 感知 到 故障 前 就 进行 定位 止 损 , 而 且 随 着 网 络 日 益 复杂 和 多 元 化 ,对 网 络 故障 的 
预测 显得 尤为 重要 。 

网 络 故障 预测 是 指 在 历史 日 志 数 据 的 基础 上 ,通过 网 络 的 实时 状态 选择 合理 的 模型 
或 算法 实时 监控 网 络 的 健康 状况 ,在 用 户 感知 到 故障 发 生 之 前 ,做 到 对 未 来 的 网 络 状态 进 
行 故障 的 预测 ,判定 故障 是 否 会 发 生 , 从 而 为 网 络 操作 者 提供 帮助 ,使 其 及 时 运用 操作 策 
略 对 网 络 的 健康 进行 维护 。 

故障 预测 是 在 已 有 的 历史 日 志 数 据 的 基础 上 ,通过 模型 和 相应 技术 以 及 数学 方法 , 预 
测 设备 未 来 的 状态 。 其 基本 步骤 如 图 1-5 所 示 。 


确定 参数 ”一 一 | 选择 预测 技术 os 评价 预测 模型 


确定 预测 目标 No 
Yes 
获取 预测 结果 | 成 为 预测 模型 


1-5 故障 预测 的 基本 步骤 


(1) 确定 预测 目标 : 这 里 的 目标 可 以 是 设备 路 由 器 交换机、 系统 日 志 等 ,如 预测 目 
标 是 公司 的 后 台 管理 日 志 。 

(2) 选择 预测 技术 : 这 里 一 般 采 用 机 器 学 习 的 分 类 器 思想 ,判断 预测 目标 所 属 类 型 。 
预测 技术 包括 算法 的 选择 ,特征 提取 、 优 化 预测 模型 等 , 即 通过 建立 模型 ,预测 日 志 与 故障 

(3) 评价 预测 模型 : 通过 计算 预测 的 精确 度 衡量 预测 模型 的 准确 性 ,通过 验证 方法 
对 其 进行 验证 。 


PE 日 志 审 计 与 分 析 FE 


目前 比较 常见 的 故障 预测 技术 有 基于 统计 的 方法 、 基 于 数学 的 方法 和 基于 人 工 智能 
的 方法 。 

(1) 基于 统计 的 方法 。 回 归 分 析 法 是 通过 历史 数据 分 析出 其 变化 规律 ,研究 出 相应 
的 变量 及 变量 之 间 的 关系 ,构建 关联 方程 ,从 而 预测 未 来 故障 。 该 方法 实现 起 来 较为 容 
易 , 但 误差 较 大 ;时 间 序 列 分 析 法 是 建立 一 个 能 够 反映 故障 时 间 序 列 变化 的 模型 ,其 对 历 
中 数据 的 需求 较 弱 ,该 方法 对 变化 因素 敏感 , 故 只 适用 于 短 时 间 预 测 ; 主 成 分 分 析 法 可 以 
用 较 少 的 分 量 对 预测 目标 进行 分 析 , 故 该 方法 适用 于 维度 较 高 的 目标 ,从 而 抓 住 主要 的 问 
题 ,提高 了 分 析 质 量 ,但 该 方法 依赖 于 对 维度 的 选择 。 

(2) 基于 数学 的 方法 。 灰 色 理 论 法 是 通过 对 不 规律 的 数据 转化 为 有 规律 的 序列 加 以 
研究 ,从 而 显示 出 其 规律 性 ,由 于 其 模型 为 指数 函数 , 故 该 方法 适合 于 呈 指 数 级 上 升 的 系 
统 ;模糊 理论 法 使 用 模糊 理论 对 预测 目标 进行 预测 。 其 好 处 在 于 可 以 处 理 复 杂 的 变化 、 非 
线性 方面 的 问题 。 

(3) 基于 人 工 智能 的 方法 。 基 于 分 类 的 方法 就 是 对 样本 数据 进行 分 类 器 训练 ,将 其 
分 类 到 不 同 的 故障 类 型 中 ,通过 训练 模型 对 未 来 数据 进行 分 类 的 过 程 。 常 用 的 方法 有 决 
策 树 ,随机 森林 、 支 持 向 量 机 (Support Vector Machine,SVM) 等 。 

基于 遗传 算法 的 方法 是 利用 遗传 算法 的 特性 寻找 最 优 解 , 从 而 建立 优化 模型 对 故障 
进行 预测 ;基于 专家 系统 的 方法 含有 大 量 的 专家 经 验 , 利 用 人 工 智 能 创建 的 知识 库 模 拟 领 
域 专家 的 经 验 和 判断 ,从 而 建立 预测 模型 。 


4. 取证 

取证 是 重建 “发 生 了 什么 ”的 过 程 , 它 基于 不 完整 的 信息 ,因此 信息 可 信 度 是 非常 重要 
的 。 日 志 是 取证 过 程 中 至 关 重要 的 组 成 部 分 。 

日 志 是 一 种 “永久 性 ”的 事件 记录 , 它 不 会 因为 系统 的 变化 而 更 改 。 因 此 ,日 志 可 以 为 
系统 中 被 算 改 或 破坏 的 数据 提供 详细 的 证 据 。 

然而 ,日 志 中 显示 的 证 据 有 时 是 间接 的 或 者 不 完整 的 。 例 如 ,一 个 日 志 条 目 可 能 展示 
出 一 个 特定 的 活动 ,但 没有 说 明 是 哪 一 个 主体 进行 的 。 或 者 例如 ,进程 账户 日 志 显示 一 个 
用 户 运 行 了 什么 命令 ,但 并 没有 记录 这 些 命令 的 参数 。 所 以 ,日 志 并 不 总 是 唯一 可 靠 的 消 
息 来 源 。 但 是 ,当主 机 遭 到 入 侵 ,如 果 主 机 已 经 将 日 志 转 发 给 集中 日 志 服 务 器 ,日 志 就 有 
可 能 是 唯一 可 靠 的 信息 来 源 。 这 些 主机 上 的 日 志 在 主 机 遭 到 入 侵 前 是 可 以 信任 的 ,而 在 
入 侵 之 后 就 值得 怀疑 了 。 但 是 ,集中 日 志 服 务 器 收集 的 日 志 有 助 于 揭示 到 底 发 生 了 什么 ， 
为 事后 查 明 真 相 指出 正确 的 方向 。 


5. 审计 

审计 是 验证 系统 或 者 过 程 是 否 如 预期 那样 运行 的 过 程 。 日 志 是 审计 过 程 的 一 部 分 ， 
形成 审计 跟踪 。 

审计 往往 是 为 了 政策 或 者 监管 依从 性 而 进行 的 。 例 如 ,公司 往往 需要 做 财务 审计 ,以 
确保 财务 报表 和 账 短 相 符 , 且 所 有 数字 都 合情合理 。 萨 班 斯 -奥克斯 利 法 案 (Sarbanes- 
Oxley Act) 和 健康 保险 便利 性 和 责任 法 案 (Health Insurance Portability and 
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Accountability Act, HIPAA) 等 美国 法 规 都 要 求 某 种 交易 日 志 , 以 及 可 以 用 来 验证 用 户 对 
金融 和 患者 数据 访问 的 审计 跟踪 。 另 一 个 例子 是 支付 卡 行业 数据 安全 标准 (Payment 
Card Industry Data Security Standard,PCI DSS) , 它 的 强制 要 求 包括 记录 信用 卡 交 易 日 
志和 持 卡 人 的 数据 访问 日 志 。 

日 志 也 可 以 被 用 于 验证 对 于 技术 策略 (如 安全 策略 ) 的 依从 性 。 例 如 ,网 络 中 存在 
允许 使 用 特定 服务 的 策略 时 ,可 以 采用 对 各 种 日 志 的 审计 验证 是 否 只 有 这 些 服务 在 
运行 。 

审计 跟踪 也 可 以 用 来 证 明 可 审核 性 ,日志 本 身 也 可 以 用 于 预防 抵赖 。 例 如 ,如 果 有 人 
声称 他 们 从 来 没有 接收 一 个 特定 的 邮件 ,邮件 日 志 可 以 用 于 核实 并 显示 邮件 到 底 有 没有 
发 送 ,就 像 邮件 投递 员 签 收 的 单据 一 样 。 

通过 审计 用 户 活动 可 以 发 现 一 些 潜在 的 问题 。 例 如 ,在 UNIX 环境 中 ,实用 程序 
sudo 允许 一 个 普通 用 户 执行 管理 员 的 命令 而 无 需 管理 员 密 码 。 查 看 sudo 的 日 志 , 可 以 
查找 出 是 谁 运行 了 管理 员 命 令 。 


1.3.3 日 志 旁 路 部 署 


旁 路 部 署 模式 通过 将 物理 接口 绑 定 到 旁 路 模式 功能 域 的 方式 实现 。 绑 定 后 ,该 物理 
接口 就 成 为 旁 路 接口 ,此 时 ,设备 对 从 旁 路 接口 收 到 的 流量 进行 统计 、 扫 描 或 者 记录 , 即 可 
实现 旁 路 模式 。 

通常 情况 下 ,设备 在 网 络 部 署 上 会 串联 到 网 络 中 ,以 直路 的 方式 对 网 络 流量 进行 分 
析 、 控 制 以 及 转发 。 但 是 ,如 果 仅 需要 使 用 部 分 功能 ,如 IPS、 防 病毒 ,监控 及 网 络 行为 
控制 等 , 既 可 以 使 防火 墙 应 用 负载 网 关 工 作 在 直路 模式 下 ,也 可 以 工作 在 旁 路 模 
式 下 。 

设备 工作 在 旁 路 模式 下 时 , 仅 对 流量 进行 统计 、 扫 描 或 者 记录 ,并 不 对 流量 进行 转发 ， 
同时 ,网 络 流量 也 不 会 受到 设备 本 身 故 障 的 影响 ,所 以 ,对 于 仅 有 审计 需求 的 情况 ,使 用 旁 
路 模式 将 会 更 加 有 效 、 合 理 。 

旁 路 部 署 相对 于 其 他 部 署 方式 ,具有 以 下 优点 : 

。 不 需 改变 原来 的 网 络 结构 也 能 分 析 流 量 , 同 时 能 配合 日 志 服务 器 记录 分 析 。 

。 日志 服务 器 即使 在 运行 过 程 中 出 现 问 题 ,也 不 会 对 现 有 网 络 造成 任何 影响 。 


1.3.4 日 志 全 生命 周期 管理 


各 种 复杂 的 应 用 系统 和 网 络 设备 每 天 都 产生 大 量 的 日 志 , 日 积 月 累 形成 的 海量 日 志 
数据 给 系统 带 来 了 巨大 的 存储 和 性 能 压力 ,而 且 随 着 大 数据 时 代 的 变革 ,每 年 的 日 志 数 据 
量 呈 几何 级 数 增长 ,如 何 对 这 些 日 志 进 行 科学 有 效 的 管理 是 目前 企业 迫切 需要 解决 的 问 
题 。 同 时 ,传统 的 日 志 数据 管理 是 通过 人 工 脚 本 的 方式 对 日 志 数 据 进行 压缩 .迁移 清理， 
效率 低下 而 且 容易 出 现 误 操作 ,加 上 不 同 的 运 维 人 员 输 出 的 维护 日 志 不 尽 相 同 ,给 事后 审 
计 造 成 很 大 的 困难 。 

日 志 收 集 与 分 析 系 统 可 以 将 收集 来 的 所 有 日 志 、 事 件 和 告警 信息 统一 存储 起 来 ,建立 
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一 个 企业 和 组 织 的 集中 日 志 存 储 系 统 ,实现 国 家 标准 和 法 律 法 规 中 对 于 日 志 存储 的 强制 
性 要 求 , 降 低 日 志 分 散 存 储 的 管理 成 本 ,提高 日 志 管 理 的 可 靠 性 ,消除 本 地 日 志 存储 情况 
下 可 能 被 抹 掉 的 危险 ,也 为 日 后 出 现 安全 事故 时 增加 了 一 个 追查 取证 的 信息 来 源 和 依据 。 
通过 日 志 , 管 理 人 员 可 以 了 解 系统 的 运行 状况 ,获悉 信息 系统 的 安全 运行 状态 ,识别 针对 
信息 系统 的 攻击 和 入 侵 , 以 及 来 自 内 部 的 违规 和 信息 泄漏 事件 ,能 够 为 事后 的 问题 分 析 和 
调查 取证 提供 必要 的 信息 。 系 统 能 够 实时 不 间断 地 收集 网 络 系统 中 各 种 不 同 厂 商 的 安全 
设备 、 网 络 设 备 、 主 机 操作 系统 、 数 据 库 管理 系统 以 及 各 种 应 用 系统 产生 的 海量 日 志 信 
息 ,实现 日 志 信 息 的 范式 化 .关联 分 析 和 基于 日 志 的 审计 功能 ,以 帮助 管理 员 有 效 排 错 , 便 
于 事件 追查 和 责任 认定 。 

日 志 全 生命 周期 管理 是 一 种 信息 管理 模式 ,包含 对 日 志 的 产生 使用、 迁移 、 清 理 \ 销 
毁 的 全 生命 周期 管理 。 开 发 合理 的 日 志 生 命 周 期 管理 可 以 有 效 控制 生产 系统 日 志 数 据 规 
模 , 提 高 访问 效率 ,从 而 提高 系统 运行 的 整体 效率 ,帮助 企业 在 日 志 数据 生命 的 各 个 阶段 
以 最 低 的 成 本 获得 最 大 的 价值 。 开 发 日 志 留 存 策略 ,需要 来 自 组 织 中 安全 、 依 从 性 和 业务 
管理 部 门 的 利益 相关 方 的 参与 ,才能 创建 一 个 合乎 逻辑 实用 并 具备 合适 范围 的 日 志 留 存 
计划 。 

(1) 评估 使 用 的 依从 性 需求 。 

在 当今 的 许多 行业 中 ,诞生 了 一 大 批 健全 的 依从 性 需求 ,如 支付 卡 行业 数据 安全 标准 
(PCI DSS) , 它 规定 了 非常 具体 的 日 志 留 存 周期 一 一 一 年 。 北 美 电力 可 靠 性 公司 (North 
American Electric Reliability Corporation, NERC) 的 规则 指出 了 特定 日 志 类 型 的 留存 时 
间 , 其 他 法 规 要 求 保留 特定 类 型 的 日 志 , 但 是 并 未 指明 留存 周期 。 这 条 原则 为 制定 留存 策 
咯 葛 定 了 基础 ,确定 了 最 低 要 求 。 

(2) 评估 组 织 的 态势 风险 。 

内 部 和 外 部 的 风险 驱动 网 络 不 同 部 分 的 留存 周期 ,对 组 织 来 说 ,每 个 风险 领域 的 时 间 
长 度 以 及 日 志 的 重要 性 可 能 有 很 大 的 不 同 。 如 果 日 志 主 要 用 于 内 部 威胁 调查 , 则 需要 较 
长 的 留存 周期 ,因为 事故 常常 是 多 年 都 未 曾 发 现 的 ,如 果 一 旦 发 现 ,就 必须 紧急 地 将 其 追 
查 到 底 。 

(3) 关注 各 种 日 志 来 源 和 生成 日 志 的 大 小 。 

防火 墙 \ 服 务 器 ,数据库 .Web 代理 服务 器 、 各 种 设备 或 应 用 程序 生成 的 日 志 体 积 有 
很 大 的 不 同 。 例 如 , 主 防 火 墙 会 生成 大 量 的 日 志 内 容 , 因 此 为 了 满足 此 数据 的 长 期 留存 需 
求 ,通常 只 存储 30 天 的 日 志 , 但 是 应 该 仔细 评估 某 些 组 织 的 依从 性 需要 以 及 主 防 火 墙 的 
关键 程度 ,决定 是 否 采用 更 长 的 留存 周期 。 

(4) 评估 可 用 的 存储 选项 。 

日 志 存 储 选项 包括 硬盘 、 数 字 化 视频 光盘 (Digital Video Disk, DVD) .一 写 多 读 
(Write Once Read Many, WORM) 存 储 器 、 磁 带 、 关 系 型 数据 库 管理 系统 (Relational 
Database Management System,RDBMS) .日 志 特 定 存储 以 及 基于 云 的 存储 。 这 方面 主 
要 取决 于 价格 .容量 .访问 速度 ,最 重要 的 是 以 合理 的 周期 得 到 正确 的 日 志 生 命 周 期 
管理 。 
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基于 以 上 几 点 ,系统 将 日 志 记 录 分 为 运行 日 志 记录 、 交 接班 记录 和 历史 遗留 记录 ,如 
图 1-6 所 示 。 在 调控 值班 过 程 中 ,除了 记录 运行 日 志 , 同 时 还 要 记录 一 些 状态 或 事件 信 
息 ,这 些 信息 通常 会 有 一 个 从 开始 到 结束 的 状态 演变 过 程 ,如 某 个 特殊 运行 方式 的 形成 、 
变化 及 结束 过 程 。 这 些 状态 或 事件 信息 通常 记录 在 交接 班 记录 中 , 若 状 态 或 事件 未 结束 ， 
则 对 应 的 记录 不 终结 , 交 班 后 将 移交 给 下 一 值 ,通常 将 上 一 值 移交 下 来 的 所 有 未 闭环 的 记 
录 称 为 历史 遗留 记录 。 


上 一 值 | 交接 当 值 ij 下 一 值 
| 运行 日 志 记 录 上 过程 | | 运行 日 志 记 录 上 | | 运行 日 志 记录 | 
1 1 1 
1 | ， {进入 交接 ! | | 
1 | 交 ! 可 人 中 班 记录 | | 交 ! 
| 大 人 | | 入 | 二 二 三 二 二- 
交接 班 记录 ”| 下 ! | 交接 班 记录 上 -| 下 | | 交接 班 记录 | 
1 | 班 | | | 班 | 
1 | 1 ai | 
se 1 上 1 1 ep 
历史 让 留 记录 上 一 一 + | 历史 名 留 记录 | 一 一 | 历史 站 贸 记 录 | 


1-6 生命 全 周期 管理 技术 框图 


调控 日 志 管理 系统 将 历史 遗留 记录 及 其 状态 变化 过 程 作为 一 个 事物 对 象 进行 全 过 程 
管理 。 为 便于 对 日 志 记 录 进 行 管理 ,系统 为 日 志 记 录 设 置 了 “修改 时 间 ”“ 创 建 时 间 ” 字 有 段 。 
“创建 时 间 ” 作 为 日 志 信 息 的 首次 入 库 时 间 , 在 日 志 的 整个 生命 周期 过 程 中 保持 不 变 , 而 
“修改 时 间 ” 记 录 了 日 志 信 息 的 最 后 一 次 修改 时 间 。 

历史 遗留 记录 更 新 后 ,将 自动 转 为 当 值 交 接班 记录 ,同时 根据 业务 需要 ,可 将 记录 同 
步 显 示 至 运行 日 志 中 。 例 如 ,历史 遗留 记录 中 的 一 条 已 发 令 操作 但 未 完成 的 操作 记录 , 当 
本 值 完成 操作 后 ,对 该 记录 进行 相应 修改 ,并 将 该 记录 同步 显示 至 运行 日 志 中 ,作为 当前 
运行 日 志 记录 的 一 部 分 。 交 班 时 ,系统 将 当 值 更 新 后 的 历史 遗留 记录 连同 当 值 运行 日 志 
及 交接 班 记录 进行 存档 ,同时 将 未 终结 的 历史 遗留 记录 以 及 未 完成 的 运行 日 志和 交接 班 
记录 移交 给 下 一 值 。 当 历史 遗留 记录 包含 的 事件 已 结束 或 事件 的 变化 已 不 需要 继续 关注 
时 ,终结 该 记录 , 交 班 后 将 不 再 移交 给 下 一 值 。 最 终 , 当 值 汇聚 了 所 有 未 终结 的 系统 运行 
状态 信息 ,而 每 个 历史 班次 保存 了 整个 系统 运行 状态 信息 的 新 建 、 更 新 、 终 结 等 变化 情况 。 
这 种 方式 不 但 节约 了 大 量 的 数据 库存 储 资源 ,提高 了 系统 响应 速度 ,而 且 便 于 状态 或 事件 
信息 的 跟踪 和 追溯 。 


1.3.5 ” 合 规 性 要 求 


做 到 有 效 控制 IT 风险 ,尤其 是 操作 风险 ,对 业务 的 安全 运营 至 关 重 要 。 因 此 , 合 规 

性 审计 成 为 被 行业 推崇 的 有 效 方 法 。 安 全 合 规 性 审计 是 检查 建设 与 运行 IT 系统 中 的 过 
程 是 否 符合 相关 法 律 , 标 准 、 规 范文 件 精神 要 求 的 一 种 检测 方法 。 这 作为 风险 控制 的 主 
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要 内 容 之 一 ,是 检查 安全 策略 落实 情况 的 一 种 手段 。 

一 般 来 说 ,信息 安全 审计 的 主要 依据 为 信息 安全 管理 相关 的 标准 ,如 ISO/IEC 
27000.COSO COBIT ITIL NIST SP800 系列 、 国 家 等 级 保护 相关 标准 、 企 业内 控 规 范 
等 。 这 些 标准 、 规 范 实际 上 是 出 于 不 同 的 角度 提出 的 控制 体系 ,基于 这 些 控 制 体系 可 
以 有 效 地 控制 信息 安全 风险 ,从 而 提高 安全 性 。 根 据 相 关 标 准 、 法 规 进行 合 规 性 安全 
审计 ,起 到 标识 事件 .分析 事 件 、 收 集 相关 证 据 , 从 而 为 策略 调整 和 优化 提供 依据 。 范 
围 至 少 应 该 包括 安全 策略 的 一 致 性 检查 、 人 工 操作 的 记录 与 分 析 、 程 序 行为 的 记录 与 
分 析 等 。 

合 规 性 审计 必须 与 信息 安全 策略 的 制订 与 落实 紧密 结合 在 一 起 ,才能 有 效 地 控制 风 
险 。 目 前 ,市 场 上 根据 相关 标准 形成 了 较 多 合 规 性 审计 产品 ,如 基线 扫描 以 及 针对 性 的 
COBIT 审计 系统 等 。 

审计 过 程 中 , 合 规 性 审计 员 通 常会 向 首席 信息 官 (Chief Information Officer, CIO)、 
首席 技术 官 (Chief Technology Officer,CTO) 和 IT 管理 人 员 询 问 一 系列 尖锐 问题 。 这 些 
问题 可 能 包括 : 添加 了 什么 样 的 用 户 、 何 时 添加 了 这 些 用 户 、 哪 些 用 户 离开 了 公司 、 用 户 
信息 是 否 已 经 撤销 ,以 及 什么 样 的 IT 管理 人 员 已 经 能 够 进入 关键 系统 。IT 管理 者 可 以 
通过 使 用 事件 日 志 管 理工 具 以 及 健全 的 变更 管理 软件 在 IT 系统 内 实现 跟踪 、 文 件 审核 
和 控制 功能 。 治理、 风险 管理 和 法 规 遵 从 (Governance, Risk management and 
Compliance,GRC) 软 件 类 型 的 不 断 增加 使 得 首席 信息 官 可 以 方便 地 向 审计 人 员 和 首席 执 
行 官 展示 某 组 织 遵 从 法 规 ,不 会 不 受 高 额 处 罚 或 制裁 。 

内 控 与 合 规 性 审计 越 来 越 受 到 企业 和 相关 监管 部 门 的 重视 ,法规 遵 从 ,企业 内 控 成 为 
IT 业界 的 热点 话题 和 发 展 趋势 , 通 过 对 用 户 网 络 环境 中 安全 设备 网络 设备 、 主 机、 操作 
系统 ,数据库 系统 ,用户 业 务 系统 等 日 志 进 行 全 面 分 析 与 审计 ,集成 各 种 合 规 性 关键 控制 
点 需求 ,建立 基于 日 志 与 行为 分 析 的 合 规 性 安全 审计 平台 ,为 用 户 提 供 合 规 性 审计 报表 报 
告 , 充 分 满足 各 项 标准 法规 ( 萨 班 斯 法 案 、 等 保 要 求 、 分 保 要 求 ) 的 合 规 性 控制 需求 ,降低 
合 规 性 成 本 。 

日 志 收 集 与 分 析 系 统 专业 的 合 规 性 审计 报表 , 合 规 性 审计 内 容 广泛 多 样 ,具体 取决 于 
某 一 组 织 的 性 质 , 该 公司 处 理 的 数据 类 型 以 及 它 是 否 传送 或 存储 了 敏感 财务 数据 。 例 如 ， 
SOX 法 案 规 定 任何 电子 通信 必须 进行 备份 并 有 合理 的 灾难 恢复 体系 作为 保障 。 保 存 或 
传送 如 个 人 健康 信息 这 样 的 电子 医疗 记录 的 医疗 服务 提供 商 必须 遵守 HIPAA。 传 送信 
用 卡 数据 的 金融 服务 公司 必须 遵守 PCI DSS( 支 付 卡 行业 数据 安全 标准 )。 独 立 核 算 、 安 
全 或 IT 顾问 需 对 合 规 准 备 的 优点 及 全 面 性 做 出 评价 。 无 论 在 哪 种 情况 下 ,被 审计 的 组 
织 都 必须 通过 提供 审计 跟踪 记录 表明 自己 符合 相关 规定 。 特 有 的 基于 规则 的 审计 引擎 能 
够 为 各 个 行业 客户 制定 出 与 上 述 要 求 一 致 的 实时 /历史 审计 场景 。 用户 可 以 通过 丰富 的 
合 规 分析 策 略 对 全 网 的 安全 事件 进行 全 方位 、 多 视角 、 大 跨度 、 细 粒度 的 事实 检测 、 分 析 、 
查询 .追溯 ,动态 了 解 系统 的 合 规 情 况 。 
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本 章 将 详细 介绍 日 志 收 集 的 对 象 及 常见 的 日 志 收集 方式 。 通 过 本 章节 的 学 习 , 达 到 
了 解 日 志 收 集 对 象 的 目标 ,日 志 收 集 对 象 如 操作 系统 、 网 络 设备 、 安 全 设备 .应 用 系统 、 数 
据 库 等 ;此 外 ,理解 日 志 收 集 的 几 种 基本 方式 ,如 Syslog、SNMP Trap、JDBC/ODBC、 文 件 
传输 协议 (File Transfer Protocol,FTP) 及 文本 等 ,为 后 续 的 日 志 相 关内 容 的 学 习 黄 定 
基础 。 


2.1 概述 


日 志 收 集 系统 能 够 通过 多 种 方式 全 面 收集 网 络 中 的 各 种 设备 ,应 用 和 系统 的 日 志 信 
息 ,确保 用 户 能 够 收集 并 审计 所 有 必需 的 日 志 信息 ,避免 出 现 审计 漏洞 。 同 时 ,该 系统 还 
要 尽 可 能 使 用 被 审计 节点 自身 具备 的 日 志 外 发 协议 ,尽量 不 在 被 审计 节点 上 安装 任何 代 
理 , 保 障 被 审计 节点 的 完整 性 ,使 得 对 被 审计 节点 的 影响 最 小 化 。 

由 于 网 络 设备 的 多 样 化 ,日 志 收 集 系统 支持 通过 多 种 网 络 协议 进行 日 志 收 集 , 如 
Syslog、SNMP Trap、NetFlow、ODBC/JDBC、OPSEC LEA、 内 部 私有 传输 控制 协议 
(Transmission Control Protocol, TCP)/ 用 户 数 据 报 协议 (User Datagram Protocol， 
UDP) 等 。 

另外 ,针对 能 够 产生 日 志 , 但 是 无 法 通过 网 络 协议 发 送 给 日 志 收 集 系 统 的 情形 ,可 以 
通过 为 用 户 提 供 一 个 软 通 用 日 志 收 集 器 (Sensor, 也 称 为 事件 传感器 ) 对 用 户 日 志 进 行 收 
集 。 该 日 志 收 集 器 能 够 自动 将 指定 的 日 志 ( 文 件 或 者 数据 库 记 录 ) 发 送 到 审计 中 心 。 例 
如 ,针对 Windows 操作 系统 日 志 等 。 

可 见 ,当前 的 日 志 收 集 与 分 析 系 统 中 的 日 志 已 经 超越 了 传统 日 志 的 概念 ,真正 实现 了 
对 全 网 IT 资源 的 日 志 产 生 、 收 集 、 分 析 和 审计 。 


2.2 收集 对 和 象 


2.2.1 操作 系统 
日 志 收 集 与 分 析 系 统 需要 支持 收集 各 种 主机 操作 系统 记录 的 各 种 消息 ,这 些 操作 系 
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统 包括 Windows、Solaris、Linux、AIX、HP-UX、UNIX、AS400 等 。 下面 以 操作 系统 生成 
的 日 志 为 例 进行 介绍 。 

(1) 认证 : 用 户 已 经 登录 无 法 登录 等 。 

示例 (Linux Syslog): 


Jan 2 08:44:54 nsl sshd2[23661]: User anton, coming from 65. 211. 15. 100, 


authenticated. 


以 上 例子 是 Linux Syslog 中 的 一 行 ,与 远程 用 户 用 Secure Shell 守护 进程 认证 相关 。 
(2) 系统 启动 ,关闭 和 重启 。 
示例 (Linux Syslog ) : 


Nov 4 00:34:08 localhost shutdown: shutting down for system reboot 


以 上 例子 中 的 Linux Syslog 与 系统 关闭 相关 。 
(3) 服务 启动 ,关闭 和 状态 变化 。 
示例 (Solaris Syslog): 


Nov 5 13:13:24 solinst sendmail[ 412]: [ID 702911 mail. info] starting daemon 
(8. 11.6 十 Sun) : SMTP 十 queueing@00:15:00 


以 上 例子 是 与 sendmail 守护 进程 启动 相关 的 Linux Syslog 行 。 
(4) 服务 崩溃 。 
示例 (Linux Syslog): 


Jan 3 12:20:28 nsl ftpd: service shut down 


以 上 例子 是 与 FTP 服务 器 偶然 关闭 (可 能 因为 系统 崩溃 或 者 使 用 了 kill 命令 导致 服 
务 器 关闭 ) 相 关 的 Linux Syslog 行 。 

(5) 杂项 状态 消息 。 

示例 (Linux Syslog): 


Nov 20 15:45:59 localhost ntpd[ 1002]: precision = 24 usec 


以 上 例子 是 与 事件 同步 守护 进程 相关 的 Linux Syslog 行 。 
通常 ,操作 系统 消息 被 视 为 安全 相关 的 日 志 , 其 主要 原因 有 以 下 两 点 。 
(1) 可 用 于 入 侵 检 测 。 由 于 成 功 和 失败 的 攻击 通常 会 在 日 志 中 留 下 独特 的 痕迹 ,大 
部 分 主机 入 侵 检测 系统 (Host-based Intrusion Detection System,HIDS) 和 安全 信息 及 事 
件 管理 系统 (Security Information and Event Management.SIEM) 通 过 收集 这 类 消息 ,做 
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出 过 去 和 将 要 出 现 的 威胁 的 判断 (在 日 志 中 发 现 攻击 者 侦察 活动 的 痕迹 时 ) 。 

(2) 可 用 于 事故 响应 。 尽 管 有 各 种 安全 防护 措施 ,成 功 的 攻击 仍然 可 能 发 生 。 

本 节 主 要 介绍 UNIX/Linux 和 Windows 这 两 种 系统 的 日 志 描 述 。 

UNIX/Linux 的 系统 日 志 能 细 分 为 3 个 日 志 子 系统 。 

(1) 登录 时 间 日 志 子 系统 : 登录 时 间 日 志 通 常会 与 多 个 程序 的 执行 产生 关联 ,一 般 
情况 下 ,将 对 应 的 记录 写 到 /var/log/wtm 和 /var/run/utmp 中 。 为 了 使 系统 管理 员 能 够 
有 效 地 跟踪 谁 在 何 时 登录 过 系统 ,一 旦 触发 login 等 程序 ,就 会 对 wtmp 和 utmp 文件 进 
行 相 应 的 更 新 。 

(2) 进程 统计 日 志 子 系统 : 主要 由 系统 的 内 核实 现 完 成 记录 操作 。 如 果 一 个 进程 终 
止 , 系 统 就 能 够 自动 记录 该 进程 ,并 在 进程 统计 的 日 志文 件 中 添加 相应 的 记录 。 该 类 日 志 
能 够 记录 系统 中 各 个 基本 的 服务 ,可 以 有 效 地 记录 与 提供 相应 命令 在 某 一 系统 中 使 用 的 
详细 统计 情况 。 

(3) 错误 日 志 子 系统 : 其 主要 由 系统 进程 Syslogd( 新 版 Linux 发 行 版 采用 rSyslogd 
服务 ) 实 现 操作 。 它 由 各 个 应 用 系统 (如 HTTP、FTP、Samba 等 ) 的 守护 进程 、 系 统 内 核 
自动 利用 Syslog 向 /var/log/messages 文件 中 添加 记录 ,用 来 向 用 户 报 告 不 同 级 别 的 
事件 。 

UNIX/Linux 系统 的 主要 日 志文 件 格式 表述 如 下 。 

(1) 基于 Syslogd 的 日 志文 件 。 该 类 型 主要 采用 Syslog 协议 和 POSIX 标准 进行 定 
义 , 其 日 志文 件 的 内 容 通常 以 ASCII 文本 形式 存在 ,一 般 由 以 下 几 部 分 组 成 : 日 期 \ 时 间 、 
主机 名 、IP 地 址 和 优先 级 等 。Syslog 优先 级 可 以 分 为 0、1、2、3、4、5、6、7 级 共 8 个 级 别 ， 
每 个 级 别 对 应 不 同 的 核心 程序 所 产生 的 日 志 。 

(2) 应 用 程序 产生 的 日 志文 件 。 这 种 类 型 的 日 志文 件 通 常 是 ASCII 码 的 文本 文件 格 
式 。 到 目前 为 止 ,大 多 数 UNIX/Linux 系统 中 ,运行 的 程序 会 自动 将 对 应 的 日 志文 件 向 
Syslogd 进行 处 理 。 大 部 分 应 用 层 的 日 志 默 认 存 储 在 /var/log/messages 目录 下 ,如 图 2-1 
所 示 。 在 这 个 目录 下 ,我 们 会 看 到 很 多 熟悉 的 名 字 , 如 /var/log/httpd/access_log 是 由 
Apache 服务 产生 的 日 志文 件 ;再 如 ,/var/log/samba 是 由 Samba 服务 产生 的 日 志文 件 ; 
这 种 存储 方式 在 日 志 量 不 大 时 ,通过 过 滤 等 方法 就 可 以 找 出 感 兴趣 的 关键 字 。 但 如 果 服 
务 日 志 需 要 归档 处 理 , 就 不 可 行 了 。 

(3) 操作 记录 日 志文 件 : 此 类 型 的 文件 主要 包括 两 类 。 

@ 对 各 个 终端 的 登录 人 员 进 行 记录 的 日 志 信息 lastlog。 该 信息 采取 二 进 制 的 方式 
进行 存储 (无 法 使 用 vi 等 编辑 器 直接 打开 ) ,记录 内 容 主要 有 用 户 名 、 终 端 号 .登入 IP、 登 
入 使 用 时 间 等 。 

@ 系统 中 的 邮件 服务 器 在 运行 的 时 候 需 要 进行 记录 的 日 志 maillog, 它 的 文件 格式 
通常 比较 复杂 ,但 内 容 主 要 是 ASCII 文本 ,涉及 进程 名 .邮件 代号 .日 期 时间、 操作 过 程 
的 各 种 相关 信息 。 

在 Windows 操作 系统 中 ,日 志文 件 包 括 系统 日 志 、 安 全 日 志 及 应 用 程序 日 志 。 对 于 
管理 员 来 说 ,需要 熟练 掌握 这 三 类 日 志 。 

24 


IE 第 2 章 日 志 收 集 mm 


System log 


DNS 


Sendmail、Postmail 
Samba 
/var/log/messages 
FIP 
NFS 


DHCP 
IPtables 


图 2-1 /var/log/messages 默认 存放 的 日 志 


(1) 系统 日 志 。 它 主要 是 指 Windows 2003/ Windows 7 等 各 种 操作 系统 中 的 各 个 组 
件 在 运行 中 产生 的 各 种 事件 。 这 些 事件 一 般 可 以 分 为 : 系统 中 各 种 驱动 程序 在 运行 中 出 
现 的 重大 问题 ,操作 系统 的 多 种 组 件 在 运行 中 出 现 的 重大 问题 ,以 及 应 用 软件 在 运行 中 出 
现 的 重大 问题 等 ,而 这 些 重 大 问题 主要 包括 重要 数据 的 丢失 、 错 误 等 ,甚至 是 系统 产生 的 
骨 溃 行为 。 

(2) 安全 日 志 。Windows 安全 日 志 与 系统 日 志明 显 不 同 , 主 要 记录 各 种 与 安全 相关 
的 事件 。 构 成 该 日 志 的 内 容 主要 包括 : 各 种 对 系统 进行 登录 与 退出 的 成 功 或 者 不 成 功 信 
息 ;对 系统 中 的 各 种 重要 资源 进行 的 各 种 操作 (如 对 系统 文件 进行 创建 .删除 、 更 改 等 不 同 
的 操作 ) 。 

(3) 应 用 程序 日 志 。 它 主要 记录 各 种 应 用 程序 所 产生 的 各 类 事件 。 例 如 ,系统 中 
SQL Server 数据 库 程序 进行 备份 设 定 , 一 旦 成 功 完成 数据 的 备份 操作 ,就 立即 向 指定 的 
日 志 发 送 记录 ,该 记录 中 包含 与 对 应 事件 相关 的 详细 信息 。 


2.2.2 网络 设备 


网 络 设备 包括 路 由 器 、 交 换 机 和 其 他 将 计算 机 桌面 和 服务 器 连接 起 来 组 成 网 络 的 设 
备 ,来 自 这 类 设备 的 日 志 在 安全 中 起 到 关键 的 作用 。 
最 常见 的 网 络 设备 消息 包括 如 下 类 别 。 
。 登录 和 注销 。 
。 建立 服务 连接 。 
。 出 站 和 入 站 传输 字 节 数 。 
。 重 新 启动 。 
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。 配置 更 改 。 

通常 ,网 络 设备 包括 路 由 交换 设备 防火 墙 \, 人 侵 检测 系统 等 。 由 于 上 述 设备 的 厂 
家 和 标准 差异 ,它们 在 产生 日 志 时 会 存在 不 同 的 格式 。 下 面 以 防火 墙 和 交换 机 举例 
说 明 。 


1. PIX 防火 墙 日 志 

该 日 志 是 与 实际 的 防火 墙 系统 产品 相关 的 ,其 主要 由 Cisco 公司 研发 ,该 防火 墙 基 于 
专用 操作 系统 ,同时 采取 实时 的 艇 入 式 系统 形成 支撑 。PIX 系列 的 防火 墙 通常 都 为 用 户 
提供 了 比较 完备 的 安全 审计 方法 ,其 主要 记录 的 事件 如 下 。 

。 AAA( 认 证 .授权 和 记 账 ) 事 件 。 
Connection( 连 接 ) 事 件 。 
SNMP( 简 单 网 络 管理 协议 ) 事 件 。 
Routing errors( 路 由 错误 ) 事 件 。 
Failover( 故 障 转移 ) 事 件 。 
PIX 系统 管理 事件 。 

基于 PIX 系统 的 防火 墙 产 品 , 其 相关 的 日 志 采 用 “%” 作 为 一 个 标识 符 以 标志 某 一 记 
录 的 开始 ,其 记录 文件 不 超过 1024 个 字符 。 


2. 交换 机 日 志 

中 高 端 交换 机 以 及 各 种 路 由 器 ,一 般 情况 下 都 会 采取 一 定 的 方式 记录 设备 自身 的 运 
行 状态 ,并 且 将 系统 在 运行 中 产生 的 一 些 异常 情况 记录 下 来 。 另 外 ,在 兼容 性 方面 ,上 述 
网 络 设备 通常 都 提供 了 对 Syslog RFC 3164 的 支持 ,并 对 该 协议 明确 的 各 种 日 志 处 理 机 
制 提供 支持 ,因此 可 以 通过 Syslog 协议 实现 不 同 设备 之 间 多 种 日 志 的 相互 转发 。 


2.2.3 ”安全 设备 


安全 设备 包括 防火 墙 、. 虚 拟 专用 网 络 (Virtual Private Network,VPN) .IDS IPS 、 防 
病毒 网 关 、 网 疗 、 分 布 式 拒绝 服务 (Distributed Denial of Service,DDoS) 攻 击 、Web 应 用 防 
火 墙 等 在 主机 上 运行 的 具备 安全 保护 功能 的 应 用 程序 或 者 设备 。 与 前 述 的 日 志 不 同 , 安 
全 设备 产生 的 日 志 与 攻击 入侵, 感染 等 相关 。 

从 20 世纪 90 年 代 初 第 一 代 商 业 化 系统 出 现 以 来 ,主机 入 侵 检测 系统 (HIDS) 和 主 
机 入 侵 防 御 系统 (HIPS) 的 定义 和 任务 已 经 得 到 发 展 。 现 在 ,这 类 系统 能 够 检测 和 拦截 
各 种 网 络 .操作 系统 和 应 用 程序 的 攻击 ,而 这 类 系统 生成 的 大 部 分 事件 记录 与 如 下 方 
面 有 关 。 

。 检测 到 的 侦察 或 者 探查 行为 。 

。 对 可 执行 文件 的 修改 。 

。 检测 到 攻击 。 

。 检测 并 拦截 攻击 。 

。 检测 到 成 功 入侵 。 
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。 不 安全 的 系统 重新 配置 或 损坏 。 

。 身份 认证 或 者 授权 失败 。 

通过 对 客户 的 入侵 检测 系统 、 入 侵 防 御 系 统 或 防火 墙 等 安全 设备 的 日 志 进 行 收集 , 定 
期 分 析 、 筛 选 真 假 人 侵 告警 ,结合 实际 网 络 系统 环境 诊断 当前 的 安全 态势 ,一 旦 发 现 网 络 
入 侵 事件 或 者 尝试 人 侵 事 件 ,可 以 及 时 通知 客户 并 提供 阻止 入 侵 的 技术 手段 ,调整 和 优化 
策略 。 


2.2.4 应 用 系统 


应 用 系统 包括 邮件 、Web、FTP、Telnet 等 , 它 可 以 记录 业务 应 用 系统 上 的 每 个 账户 的 
活动 信息 。 通 常 将 应 用 系统 记录 的 日 志 归 纳 为 如 下 几 类 。 

(1) 权限 管理 日 志 : 记录 业务 应 用 系统 的 用 户 权 限 分 配 策略 的 每 一 个 更 改 活动 ,如 
用 户 / 用 户 组 权限 的 指派 和 移 除 。 

(2) 账户 管理 日 志 : 记录 应 用 系统 上 的 每 个 账户 的 管理 活动 ,包括 用 户 / 用 户 组 的 账 
户 管理 ,如 创建 \ 删 除 、 修 改 、 禁 用 等 ,以 及 用 户 的 账户 密码 管理 ,包括 创建 ,修改 等 。 

(3) 登录 认证 管理 日 志 : 记录 业务 应 用 系统 的 用 户 登录 认证 活动 ,包括 成 功 的 用 户 
登录 认证 、 失 败 的 用 户 登 录 认证 、 用 户 注销 、 用 户 超时 退出 。 

(4) 系统 自身 日 志 : 记录 业务 应 用 系统 在 启动 或 关闭 服务 时 或 者 在 发 生 影响 业务 应 
用 系统 故障 时 的 活动 ,包括 服务 启动 .服务 停止 .系统 故障 等 。 

(5) 业务 访问 日 志 : 记录 业务 应 用 系统 的 业务 资源 访问 活动 。 

这 里 以 最 常见 的 Apache 服务 器 为 例 , 对 应 用 系统 的 日 志 进 行 分 析 说 明 。Apache 服 
务 器 的 日 志文 件 中 包含 着 大 量 有 用 的 信息 ,这 些 信 息 经 过 分 析 和 深入 挖掘 之 后 能 够 最 大 
限度 地 在 系统 管理 人 员 及 安全 取证 人 员 的 工作 中 发 挥 重 要 作用 。 

Apache 日 志 大 致 分 为 两 类 : 访问 日 志和 错误 日 志 。 为 了 分 析 Apache 日 志 , 先 了 解 
一 下 Apache 的 访问 日 志 记录 的 过 程 。 

g@ 客户 端 向 Web 服务 器 发 出 请 求 ,根据 HTTP, 这 个 请 求 中 包含 了 客户 端的 IP 地 
址 、 浏 览 器 的 类 型 .请求 的 URL 等 一 系列 信息 。 

@ Web 服务 器 收 到 请 求 后 ,根据 请 求 将 客户 要 求 的 信息 内 容 直 接 ( 或 通过 代理 ) 返 回 
到 客户 端 。 如 果 出 现 错误 , 则 报告 出 错 信 息 , 浏 览 器 显示 得 到 的 页 面 ,并 将 其 保存 在 本 地 
高 速 缓存 中 。 如 果 请 求 /响应 通过 代理 , 则 代理 也 缓存 一 下 传 来 的 页 面 。 

@ Web 服务 器 同时 将 访问 信息 和 状态 信息 等 记录 到 日 志文 件 里 。 客 户 每 发 出 一 次 
Web 请 求 ,上 述 过 程 就 重复 一 次 ,服务 器 则 在 日 志文 件 中 增加 一 条 相应 的 记录 。 因 此 ,日 
志文 件 比 较 详细 地 记载 了 用 户 的 整个 浏览 过 程 。Apache 日 志 记录 过 程 如 图 2-2 所 示 。 


2.2.5 数据 库 


各 种 数据 库 ( 如 Oracle、SQL Server、MySQL、DB2、Sybase、Informix 等 ) 一 般 都 使 用 事 
务 的 工作 模型 运行 ,事务 必须 满足 原子 性 . 即 所 封装 的 操作 或 者 全 做 ,或 者 全 不 做 。 事 务 
管理 系统 需要 做 两 件 事 : 一 是 让 系统 产生 日 志 ; 二 是 保证 多 个 事务 并 发 执行 ,满足 ACID 
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特性 。ACID 是 数据 库 事务 正确 执行 的 4 个 基本 要 素 的 缩写 ,包含 原子 性 (Atomicity) ,一 
致 性 (Consistency)、 隔 离 性 (Isolation) .持久 性 (Durability) 。 数 据 库 事务 系统 工作 模型 
如 图 2-3 所 示 。 事 务 管理 器 控制 查询 处 理 器 的 执行 ,控制 日 志 系统 以 及 缓冲 区 ,日 志 在 缓 
冲 区 生成 ,日 志 管 理 器 在 特定 的 时 候 控 制 缓冲 区 的 刷 盘 操作 。 当 系统 崩溃 的 时 候 , 恢 复 管 
理 器 就 被 激活 ,检查 日 志 并 在 必要 时 利用 日 志 恢复 数据 。 


查询 管理 器 |- 一 一 | 事务 管理 器 | -| 日 志 管 理 吕 
缓冲 区 管理 器 -一 | 恢复 管理 器 
数据 日 志 


2-3 数据 库 事务 系统 工作 模型 


数据 库 都 具有 事务 日 志 , 用 于 记录 所 有 事务 以 及 每 个 事务 对 数据 库 所 做 的 修改 。 在 
多 事务 数据 库 系统 中 ,每 个 事务 都 有 若干 个 操作 步骤 。 每 个 日 志 都 记录 有 关 某 个 事务 已 
做 的 某 些 情况 。 几 个 事务 的 行为 可 以 是 “交错 的 ”, 因 此 当 一 个 事务 的 某 个 步骤 被 执行 ,并 
且 其 效果 被 记录 到 日 志 中 ,接着 就 会 执行 另外 一 个 事务 的 某 个 步骤 并 记 和 日志 ,接着 可 能 
执行 第 一 个 事务 的 下 一 个 步骤 ,也 可 能 执行 另外 一 个 事务 的 某 个 步骤 ,以 此 类 推 , 事 务 的 
交错 执行 使 日 志 更 复杂 。 

事务 日 志 是 数据 库 的 重要 组 件 , 如 果 系 统 出 现 故障 , 则 可 能 需要 使 用 事务 日 志 将 数据 
库 恢复 到 一 致 状态 ,在 恢复 时 ,有 些 事务 的 工作 将 会 重 做 ,这 些 事务 写 到 数据 库 的 新 值 会 
重 写 一 次 ,而 另外 一 些 事务 的 工作 将 被 撤销 ,就 跟从 来 没有 被 执行 过 一 样 ,数据 库 被 恢复 。 
删除 或 移动 事务 日 志 前 ,必须 完全 了 解 此 操作 带 来 的 后 果 。 

综 上 所 述 , 事 务 日 志 支持 以 下 操作 。 

。 恢复 个 别 的 事务 。 

”在 数据 库 启动 时 恢复 所 有 未 完成 的 事务 。 

。 将 还 原 的 数据 库 文件, 文件 组 或 页 前 滚 至 故障 点 。 

。 支持 事务 复制 ,支持 备份 服务 器 解决 方案 。 
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2.3.1 Syslog 


Syslog 协议 是 一 个 在 IP 网 络 中 转发 系统 日 志 信 息 的 标准 ,是 在 美国 加 州 大 学 伯克利 
软件 分 布 研 究 中 心 的 TCP/IP 系统 实施 中 开发 的 ,目前 已 成 为 工业 标准 协议 ,可 用 它 记 录 
设备 的 日 志 。Syslog 可 以 记录 系统 中 的 任何 事件 ,管理 者 可 以 通过 查看 系统 记录 随时 掌 
握 系统 状况 。 系 统 日 志 通过 Syslog 进程 记录 系统 的 相关 事件 ,也 可 以 记录 应 用 程序 运作 
事件 。 通 过 适当 配置 ,还 可 以 实现 运行 Syslog 协议 的 机 器 之 间 的 通信 。 通 过 分 析 这 些 网 
络 行为 日 志 , 可 追踪 和 掌握 与 设备 和 网 络 有 关 的 情况 。 

在 网 络 管理 领域 ,Syslog 协议 提供 了 一 个 传递 方式 ,允许 一 个 设备 通过 网 络 把 事件 
信息 传递 给 事件 信息 接收 者 (也 称 为 日 志 服 务 器 )。 但 是 ,由 于 每 个 进程 应 用 程序 和 操作 
系统 都 或 多 或 少 有 自己 的 独立 性 ,Syslog 信息 内 容 中 会 存在 一 些 不 一 致 的 地 方 。 因 此 ， 
协议 中 并 没有 任何 关于 信息 的 格式 或 内 容 的 假设 。 这 个 协议 就 是 简单 地 被 设计 用 来 传送 
事件 信息 ,但 是 对 事件 的 接收 不 会 进行 通知 。Syslog 协议 和 进程 最 基本 的 原则 就 是 简 
单 , 在 协议 的 发 送 者 和 接收 者 之 间 不 要 求 有 严格 的 相互 协调 。Syslog 信息 的 传递 可 以 在 
接收 器 没有 被 配置 甚至 在 没有 接收 器 的 情况 下 开始 。 在 没有 被 清晰 配置 或 者 定义 的 情况 
下 ,接收 器 也 可 以 接收 到 信息 。 

Syslog 常 被 称 为 系统 日 志 或 系统 记录 ,是 一 种 用 来 在 互联 网 协议 (TCP/IP) 的 网 络 
中 传递 记录 信息 的 标准 。 这 个 词汇 常用 来 指 实际 的 Syslog 协议 ,或 者 那些 送出 Syslog 信 
息 的 应 用 程序 或 数据 库 。 它 属于 一 种 主 从 式 协 议 : Syslog 发 送 端 会 传送 出 一 个 小 的 文字 
信息 (小 于 1024B) 到 Syslog 接收 端 。 接 收 端 通常 名 为 “Syslogd”“Syslog daemon ”或 
Syslog 服务 器 。 系 统 日 志 信 息 可 以 用 UDP 或 TCP 传送 ,这 些 信息 是 以 明码 形态 被 传送 
的 。 由 于 SSL 加 密 外 套 ( 如 Stunnel、sslio 或 sslwrap 等 ) 并 非 Syslog 协议 本 身 的 一 部 分 ， 
因此 系统 日 志 信息 可 以 通过 SSL/TLS 方式 提供 一 层 加 密 。 

Syslog 提供 了 一 个 便于 管理 员 理 解 日 志 的 机 制 , 即 以 英文 文本 记录 系统 消息 。 系 统 
日 志 消 息 中 有 标准 格式 的 消息 ( 称 为 系统 日 志 消 息 、 系 统 错误 消息 或 简单 系统 消息 ) ,也 有 
从 调试 命令 输出 的 消息 。 这 些 消息 是 在 网 络 运作 过 程 中 生成 的 , 旨 在 指明 网 络 问题 的 类 
型 和 严重 程度 ,或 者 帮助 用 户 检 测 路 由 器 的 活动 ,如 配置 的 变更 。 

综 上 所 述 ,Syslog 虽然 有 很 多 缺陷 ,但 仍 获得 相当 多 平台 接收 端的 支持 。 很 多 网 络 
设备 都 支持 Syslog, 其 中 包括 路 由 器 、 交 换 机 、 应 用 服务 器 .防火 墙 和 其 他 网 络 设备 。 因 
此 ,Syslog 可 以 用 来 将 多 种 不 同类 型 系统 的 日 志 记录 整合 到 集中 的 数据 库 中 。 

Syslog 消息 格式 结构 如 下 所 示 ,系统 消息 由 一 个 百 分 号 开始 。 


%FACILITY— SUBFACILITY- SEVERITY— MNEMONIC: Message- text 


。 FACILITY( 特 性 ): 由 2 个 或 2 个 以 上 大 写字 母 组 成 的 代码 ,用 来 表示 硬件 设备 、 
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协议 或 系统 软件 的 型 号 。 

。 SEVERITY( 严 重 性 ): 范围 为 0 一 7 的 数字 编码 ,表示 了 事件 的 严重 程度 。 

。 MNEMONIC( 助 记 码 ): 唯一 标识 出 错误 消息 的 代码 。 

。 Message-text( 消 息 文本 ): 用 于 描述 事件 的 文本 串 。 消 息 中 的 这 一 部 分 有 时 会 包 

含 事件 的 细节 信息 ,其 中 包括 目的 端口 号 网络 地 址 或 系统 内 存 地 址 空间 中 对 应 
的 地 址 。 

Syslog 协议 和 进程 的 基本 原则 是 它 的 简单 性 。 在 发 送 者 和 接收 者 之 间 不 需要 协调 。 
实际 上 ,Syslog 信息 的 发 送 者 可 以 在 接收 者 没有 配置 好 或 根本 不 存在 的 情况 下 进行 发 
送 。 相 反 , 很 多 设备 会 在 没有 任何 配置 和 定义 的 情况 下 收 到 消息 。 这 种 简单 性 让 Syslog 
更 容易 接受 和 部 署 。 

标准 化 的 Syslog 使 用 用 户 数 据 报 (UDP) 作 为 底层 传输 层 协 议 。Syslog 的 UDP 端口 
为 514。 所 有 目的 端口 为 514 的 UDP 报 文 都 是 Syslog 消息 。Syslog 的 完整 格式 由 3 个 
可 识别 的 部 分 组 成 。 第 一 部 分 是 PRI, 第 二 部 分 是 HEADER ,第 三 部 分 是 MSG。 报 文 的 
总 长 度 必 须 在 1024B 之 内 。 

PRI 必须 是 3 个 .4 个 或 5 个 字符 ,并 且 第 一 个 和 最 后 一 个 字符 是 尖 括 号 。PRI 部 分 
以 “二” 开始 ,接着 是 数字 ,最 后 是 “二 ”。 数 字 的 编码 必须 是 7 位 ASCII 格式 。 这 里 光一 ” 
字符 被 定义 成 ABNF 格式 “%d60”, 同 样 ,“ 二 ”字符 被 定义 成 ABNF 格式 “%d62”。 尖 括 
号 中 间 的 数字 是 优先 级 ,表示 前 文 描述 的 设备 和 严重 级 别 。 优 先 级 由 1、2 或 3 个 数字 组 
成 ,使 用 %d48 一 %d57 表示 0 一 9。 

HEADER 部 分 包含 时 间 戳 以 及 设备 的 主机 名 或 IP 地 址 。Syslog 的 HEADER 部 分 
必须 使 用 可 见 (可 打印 ) 的 字符 。 字 符 集 必 须 使 用 PRI 中 的 ASCII 字符 集 。 在 这 些 字符 
集中 ,唯一 允许 的 字符 集 是 ABNF VCHAR 值 (%d33-126) ,以 及 空格 (%d32)。 

MSG 部 分 是 Syslog 报 文 的 剩余 部 分 。 通 常 ,MSG 部 分 包含 生成 这 个 消息 进程 的 其 
他 信息 ,以 及 消息 的 文本 内 容 。 这 部 分 没有 结束 分 隔 符 。Syslog 报 文 的 MSG 部 分 必须 
包含 可 见 (可 打印 ) 的 字符 。 通 常 使 用 和 PRI 以 及 HEADER 部 分 一 样 的 ASCII 字符 集 。 
在 这 个 字符 集中 ,允许 的 字符 是 ABNF VCHAR(%d33-126) 以 及 空格 (%d32)。 然 而 ,在 
MSG 中 使 用 的 字符 集 既 没 有 指定 ,也 不 是 期 待 的 。 可 以 使 用 其 他 的 字符 集 ,只 要 这 些 字 
符 集 中 包含 上 文 描述 的 可 见 字符 和 空白 字符 即 可 。 包 含 不 可 见 字符 集 的 消息 不 能 被 展 
示 ,也 不 能 被 接收 者 理解 ,不 会 给 操作 员 或 管理 员 任 何 信息 。 


2.3.2 SNMP Trap 


在 了 解 SNMP Trap 之 前 ,首先 介绍 一 下 SNMP。 
SNMP 设计 用 于 满足 网 络 管理 员 不 断 增长 的 需求 。 从 20 世纪 90 年 代 初 起 ,SNMP 
已 经 集成 到 几乎 所 有 常见 的 网 络 系统 中 ,包括 许多 网 络 安全 系统 。SNMP 是 查询 和 配置 
设备 的 一 种 协议 ,SNMP 陷阱 和 通知 是 设备 在 特定 事件 发 生 时 生成 的 特殊 的 SNMP 消 
息 。 虽 然 SNMP 协议 整体 来 说 不 是 一 个 日 志 记录 系统 ,许多 网 络 设 备 也 能 够 通过 Syslog 
发 送 事 件 信 息 , 但 是 SNMP 陷阱 和 通知 可 以 看 作 日 志 消 息 的 类 型 。 对 于 有 些 不 能 通过 
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Syslog 发 送 事 件 信息 的 设备 ,SNMP 陷阱 和 通知 是 从 设备 获得 其 他 途径 不 能 收集 的 事件 
信息 的 一 种 方法 ,并 且 在 某 些 情况 下 ,通过 SNMP 发 送 的 信息 类 型 与 通过 Syslog 发 送 的 
不 同 。SNMP 有 多 个 版 本 ,通常 称 作 SNMPv1、SNMPv2、SNMPv3。 下 面 对 SNMP 陷阱 
和 通知 、 获 取 和 设置 分 别 进行 介绍 。 


1. SNMP 陷阱 和 通知 

SNMP 陷阱 是 SNMPvl 协议 的 一 部 分 。SNMP 通知 是 SNMPv2 和 SNMPv3 协议 
的 一 部 分 。 陷 阱 和 通知 之 间 的 关键 区 别 是 通知 包含 了 接收 者 向 发 送 者 发 回 确认 的 功能 。 
设备 必须 经 过 配置 才能 产生 消息 ,包括 什么 事件 生成 消息 ,向 哪里 发 送 消息 。 

SNMPv1l 陷阱 使 用 明文 发 送 , 且 没 有 身份 认证 ,因此 容易 遭 到 相同 类 型 的 欺骗 攻击 。 
SNMPv2 通知 也 以 明文 发 送 ,而 SNMPv3 有 可 选择 的 消息 认证 ,可 以 抵御 欺骗 攻击 ,代价 
是 占用 了 发 送 者 和 接收 者 上 的 一 些 中 央 处 理 机 (Central Processing Unit,CPU) 周 期 。 


2. SNMP get 

SNMP 允许 “get”( 获 取 ) 操 作 , 可 以 用 它 从 一 个 设备 或 者 系统 上 读 取 信息 ,但 是 能 得 
到 什么 信息 这 很 大 程度 上 取决 于 设备 的 实现 。 例 如 ,路 由 器 将 跟踪 每 个 接口 的 发 送 和 接 
收 字 节 数 等 信息 ,操作 系统 则 可 以 获得 CPU 使 用 、 内 存 使 用 等 信息 。 也 就 是 说 ,从 设备 
或 者 系统 中 可 以 获得 有 助 于 日 志 分 析 的 信息 ,但 是 在 实践 中 ,这 既 不 实用 ,也 不 现实 。 在 
网 络 管理 界 有 一 个 概念 叫 作 陷阱 导向 轮 询 (Trap-directedPolling)。 这 意味 着 ,接收 到 某 
种 SNMP 陷阱 后 ,可 使 用 SNMP get 轮 询 设备 读 取 附 加 信息 ,进一步 关联 或 者 验证 刚刚 
收 到 的 陷阱 。 但 是 一 般 来 说 ,发 送 陷 阱 的 安全 设备 所 做 的 只 是 发 送 陷阱 ,并 不 跟踪 任何 可 
以 “获取 ”的 信息 。 


3. SNMP set 

顾名思义 ,SNMP set 允许 更 改 远 程 系 统 上 的 某 个 数值 。 例 如 ,网 桥 实现 某 种 规范 ， 
允许 使 用 SNMP set 开关 交换 机 端口 。 

SNMP 是 用 来 管理 设备 的 协议 ,目前 SNMP 已 成 为 网 络 管理 领域 中 事实 上 的 工业 标 
准 ,并 被 广泛 支持 和 应 用 ,大 多 数 网 络 管理 系统 和 平台 都 是 基于 SNMP 的 。 如 果 网 管 系 
统 (Network Management System, NMS ) 需要 查询 被 管理 设备 的 状态 ,. 则 需要 通过 
SNMP 的 get 操作 获得 设备 的 状态 信息 。 但 由 于 告警 信息 一 般 是 由 受 管 服务 器 进行 主动 
告警 ,这 时 候 就 不 能 通过 管理 方 主动 使 用 SNMP get 进行 ,而 是 由 受 管 服务 器 通过 SNMP 
Trap 进行 。 

SNMP Trap 是 某 种 入 口 ,到 达 该 入 口 会 使 SNMP 被 管 设备 主动 通知 SNMP 管理 
器 ,而 不 是 等 待 SNMP 管理 器 的 再 次 轮 询 。 它 是 SNMP 的 一 部 分 , 当 被 监控 段 出 现 特定 
事件 ,如 性 能 问题 或 者 网 络 设备 接口 宕 掉 等 情况 ,代理 端 会 给 管理 端 发 告警 事件 。 需 要 说 
明 的 是 ,在 这 里 代理 端 主动 向 管理 端 发 送 消息 ,而 不 是 等 待 管理 端 以 时 间 间 隔 的 方式 轮 询 
代理 端 。 它 需要 事先 在 代理 端 定义 好 陷阱 类 型 ,触发 陷阱 后 ,代理 端 向 管理 端 发 送 消息 ， 
管理 端 通过 对 数据 报 中 的 字段 进行 解析 后 得 到 被 管 设 备 的 消息 。 用 一 句 话 来 说 ,SNMP 
Trap 就 是 被 管理 设备 主动 发 送 消 息 给 NMS 的 一 种 机 制 。 其 功能 特点 如 下 。 
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(1) 事件 驱动 ,第 一 时 间 收 到 设备 故障 告警 。 

以 事件 为 驱动 ,由 被 监控 的 主机 、 网 络 设备 ,应 用 在 发 生 故 障 时 向 NMS 发 送 SNMP 
Trap ,通过 对 接收 到 的 SNMP Trap 进行 翻译 和 展现 ,以 最 快速 度 向 管理 人 员 发 送 告警 。 
SNMP Trap 不 同 于 SNMP 的 主动 收集 ,SNMP 收集 服务 器 按照 固定 的 时 间 间 隔 , 由 网 管 
系统 以 询问 的 方式 ,收集 被 监控 端的 性 能 指标 ,因此 发 现 被 监控 端 性 能 问题 的 快慢 取决 于 
收集 的 频率 间隔 。 而 SNMP Trap 是 以 事件 为 驱动 ,在 被 监控 端 设置 陷阱 ,一旦 被 监控 端 
设备 出 现 相 关 问 题 , 立 刻 发 送 SNMP Trap, 因 此 能 够 在 最 短 的 时 间 内 发 现 故 障 ,避免 因为 
设备 故障 带 来 的 经 济 损失 。 

(2) 提供 SNMP Trap 的 接收 ,并 通过 对 Trap 信息 翻译 ,展现 事件 。 

支持 设备 .主机 和 应 用 的 SNMP Trap 信息 ,从 被 动 变 为 主动 ,全 面 监控 IT 系统 。 通 
过 对 SNMP Trap 的 翻译 和 展现 ,一 旦 某 个 IT 组 件 出 现 问题 ,在 短 时 间 之 内 即 可 收 到 故 
障 信息 ,满足 企业 快速 发 现 问题 的 需要 。 

通过 SNMP Trap 的 接收 规则 定义 ,管理 员 可 以 过 滤 非 重要 设备 的 Trap 信息 ,也 可 
以 过 滤 被 监控 设备 的 非 重要 故障 信息 ,帮助 管理 员 在 第 一 时 间 收 到 真正 需要 的 管理 信息 。 

(3) 定制 SNMP Trap 告警 规则 触发 告警 ,提供 多 种 方式 发 送 告 警 信息 。 

用 户 通过 管理 端 定制 需要 告警 的 SNMP Trap 信息 ,针对 特定 SNMP Trap 事件 通过 
邮件 、 短 信和、 语音、 微 信 等 方式 向 相关 人 员 发 送 报警 ,帮助 管理 人 员 快 速 收 到 IT 系统 故障 
信息 。 

(4) 支持 事件 导出 。 

汇总 特定 时 间 内 的 特定 SNMP Trap 事件 ,同时 以 Excel 格式 导出 事件 数据 ,便于 管 
理 人 员 对 故障 信息 进行 统计 和 分 析 。 

(5) 支持 各 类 设备 厂家 管理 信息 库 (Management Information Base, MIB) 的 导入 。 

虽然 国内 各 种 网 络 设 备 都 支持 SNMP Trap, 但 是 各 个 厂家 的 MIB 并 不 能 很 好 地 支 
持 公共 标准 ,因此 ,很 多 监控 系统 都 支持 私有 MIB 的 导入 ,确保 能 够 全 面 兼容 各 个 厂家 设 
备 的 SNMP Trap 信息 。 


2.3.3 JDBC/ODBC 


1. JDBC 
Java 数据 库 连 接 (Java DataBase Connectivity,JDBC) 是 Java 平台 的 一 个 标准 组 成 部 
分 ,是 由 SUN 公司 根据 与 平台 无 关 的 基本 原则 开发 设计 的 ,对 异 构 数 据 库 的 连接 和 路 平 
台 的 数据 库 访 问 提供 了 有 力 的 技术 支持 。 它 是 Java 程序 连接 和 访问 各 种 数据 库 的 应 用 
程序 接口 (Application Programming Interface,.API) , 它 由 一 组 类 和 接口 构成 ,通过 调用 
这 些 类 和 接口 提供 的 方法 ,提供 了 Java 程序 与 各 种 数据 库 服务 器 之 间 的 连接 服务 ,通过 
JDBC API, 用 户 可 以 使 用 完全 相同 的 Java 语法 访问 大 量 各 种 各 样 的 SQL 数据 库 。 换 言 
之 ,有 了 JDBC API, 就 不 必 为 了 访问 SQL Server 数据 库 .Oracle 数据 库 ` MySQL 数据 库 
而 分 别 写 3 个 不 同 的 程序 了 ,只 需 用 JDBC API 写 一 个 程序 就 够 了 , 它 可 向 相应 数据 库 发 
送 SQL 语句 。 它 支持 ANSI SQL-92 标准 ,实现 了 从 Java 程序 内 调用 标准 的 SQL 命令 
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对 数据 库 进 行 查询 插入、 删除 和 更 新 等 操作 ,并 确保 数据 事务 的 正常 进行 。 

JDBC 是 实现 Java 应 用 程序 与 各 种 不 同 数据 库 对 话 的 一 种 机 制 。 它 由 两 部 分 与 数据 
库 独 立 的 API 组 成 : 一 部 分 是 面向 程序 开发 人 员 的 JDBC API; 另 一 部 分 是 面向 底层 的 
JDBC Driver API。 它 还 提供 了 一 个 通用 的 JDBC Driver Manager, 用 来 管理 各 种 数据 库 
软件 商 提供 的 JDBC 驱动 程序 ,从 而 访问 其 数据 库 。 此 外 ,对 没有 提供 相应 JDBC 驱动 程 
序 的 数据 库 系 统 开 发 了 特殊 的 驱动 程序 : JDBC-ODBC 桥 ,该 驱动 程序 支持 JDBC 通过 现 
有 的 ODBC 驱动 程序 访问 其 数据 库 系 统 。 如 图 2-4 所 示 ,JDBC 的 基本 层次 结构 由 Java 
程序 .JDBC 驱动 程序 管理 器 (JDBC Driver Manager) 、 驱 动 程序 和 数据 库 (Database, DB) 
4 部 分 组 成 。 


Java 程 序 


1 


JDBC API 


JDBC 驱动 程序 管理 器 
JDBC-ODBC JDBC-Native API JDBC-Middlew Pure JDBC 
人 站 are ( 纯 Java) Driver ( 纯 Java) 
Middlew are on 
driver i et ro. 
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图 2-4 JDBC 的 基本 层次 结构 图 


下 面 对 图 2-4 作 简 要 说 明 。 

Java 程序 : Java 程序 包括 Java 应 用 程序 和 Java 小 应 用 程序 ,主要 是 根据 JDBC 方法 
实现 对 数据 库 的 访问 和 操作 。 其 主要 任务 有 : 请 求 与 数据 库 建立 连接 、 向 数据 库 发 送 
SQL 请 求 ,为 结果 集 定 义 存储 应 用 和 数据 类 型 .查询 结果 、 处 理 错 误 、 控 制 传 给 、 提 交 及 关 

JDBC 驱动 程序 管理 器 : 它 能 够 动态 地 管理 和 维护 数据 库 查询 所 需要 的 所 有 驱动 程 
序 对 象 ,实现 Java 程序 与 特定 驱动 程序 的 连接 ,从 而 体现 JDBC 的 “与 平台 无 关 ” 这 一 特 
点 。 其 主要 任务 有 : 为 特定 数据 库 选 择 驱 动 程序 、 处 理 JDBC 初始 化 调用 、 为 每 个 驱动 程 
序 提供 JDBC 功能 的 入 口 ,为 JDBC 调用 执行 参数 等 。 

驱动 程序 : 驱动 程序 处 理 JDBC 方法 ,向 特定 数据 库 发 送 SQL 请 求 , 并 为 Java 程序 
获取 结果 。 必 要 的 时 候 , 驱 动 程序 可 以 翻译 或 优化 请 求 ,使 SQL 请 求 符合 DBMS 支持 的 
语言 。 其 主要 任务 有 : 建立 与 数据 库 的 连接 、 向 数据 库 发 送 请 求 、 用 户 程序 请 求 时 执行 翻 
译 , 将 错误 代码 格式 化 成 标准 的 JDBC 错误 代码 等 。JDBC 是 独立 于 数据 库 管 理 系 统 的 ， 
而 每 个 数据 库 系统 均 有 自己 的 协议 与 客户 机 通信 ,因此 ,JDBC 利用 数据 库 驱 动 程序 使 用 
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这 些 数据 库 引擎 。JDBC 驱动 程序 由 数据 库 软 件 商 和 第 三 方 软件 商 提 供 , 因 此 ,根据 编程 
使 用 的 数据 库 系 统 不 同 ,所 需要 的 驱动 程序 也 有 所 不 同 。JDBC 驱动 程序 可 以 分 为 以 下 
4 类 。 

第 一 类 : JDBC-ODBC Bridge Driver。 此 类 驱动 程序 也 称 为 JDBC-ODBC 桥 。 开 放 
数据 库 互联 COpen DataBase Connectivity,ODBC) 是 由 Microsoft 主导 的 数据 库 连 接 标 准 
(基本 上 JDBC 是 参考 ODBC 制定 出 来 的 ) ,所 以 ODBC 在 Microsoft 系统 上 也 最 为 成 熟 。 
例如 ,Microsoft Access 数据 库 访问 就 是 使 用 ODBC。 关 于 ODBC 的 具体 内 容 , 将 在 本 节 
的 后 半 部 分 介绍 。 这 类 驱动 程序 将 JDBC 的 调用 转换 为 对 ODBC 驱动 程序 的 调用 ,再 由 
ODBC 驱动 程序 操作 数据 库 , 其 结构 如 图 2-5 所 示 。 由 于 利用 的 是 现成 的 ODBC 架构 ,只 
需要 将 JDBC 调用 转换 为 ODBC 调用 ,所 以 要 实现 这 种 驱动 程序 非常 简单 。 
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数据 库 


2-5 JDBC-ODBC 桥 结构 示意 图 


不 过 ,由 于 JDBC 与 ODBC 并 非 一 一 对 应 的 关系 ,所 以 部 分 调用 无 法 直接 转换 ,因此 
有 些 功能 是 受 限 的 。 如 果 采 用 多 层 调用 转换 ,访问 速度 也 会 受到 限制 。 故 在 使 用 这 个 驱 
动 之 前 ,需要 对 ODBC 进行 相应 的 部 署 和 正确 的 设置 。 但 从 另 一 方面 来 说 ,在 平台 上 先 
设置 好 ODBC ,容易 导致 弹性 不 足 。 此 外 ,ODBC 驱动 程序 本 身 也 有 跨 平台 的 限制 。 

第 二 类 : Native API Driver。 这 个 类 型 的 驱动 程序 会 以 原生 (Native) 方 式 调 用 数据 
库 提供 的 原生 程序 库 ( 通 常 由 C++ 实现)。JDBC 的 方法 调用 都 会 转换 成 以 原生 程序 库 中 
的 相关 的 API 调用 ,如 图 2-6 所 示 。 
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2-6 第 2 类 JDBC 驱动 示意 图 


由 于 使 用 了 原生 程序 库 , 所 以 驱动 程序 本 身 与 平台 相依 ,没有 达到 JDBC 驱动 程序 的 
目标 之 一 : 跨 平台 。 不 过 ,由 于 是 直接 调用 数据 库 原生 API, 因 此 在 速度 上 有 机 会 成 为 4 
种 类 型 中 最 快 的 驱动 程序 。 速 度 的 优势 在 于 获得 数据 库 相 应 数据 后 ,构造 相关 JDBC 
API 实现 对 象 ,然而 驱动 程序 本 身 无 法 跨 平台 ,使 用 前 必须 先 在 各 平台 进行 驱动 程序 的 安 
装 设置 (如 安装 数据 库 专属 的 原生 程序 库 ) 。 

第 三 类 : JDBC-Net Driver。 这 个 类 型 的 驱动 程序 是 一 个 纯粹 的 Java 客户 程序 。 该 
类 驱动 程序 会 将 JDBC 的 方法 调用 转换 为 特定 的 网 络 协 议 (Protocol) 调 用 ,目的 是 与 远程 
数据 库 特定 的 中 介 服 务 器 或 组 件 进行 协议 操作 ,而 中 介 服 务 器 或 组 件 与 数据 库 进 行 连接 
操作 ,如 图 2-7 所 示 。 
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图 2-7 第 3 类 JDBC 驱动 示意 图 


由 于 实际 与 中 介 服 务 器 或 者 组 件 进行 沟通 时 ,是 利用 网 络 协议 的 方式 ,所 以 客户 端 安 
装 的 驱动 程序 可 以 使 用 纯粹 的 Java 技术 实现 (基本 上 就 是 将 JDBC 调用 对 应 至 网 络 协 
议 ), 因 此 这 个 类 型 的 驱动 程序 可 以 实现 跨 平台 。 这 种 类 型 驱动 程序 的 弹性 高 ,如 可 以 设 
计 一 个 中 介 组 件 ,JDBC 驱动 程序 与 中 介 组 件 间 的 协议 是 固定 的 ,如 果 需 要 更 换 数据 库 系 
统 , 则 需要 更 换 中 介 组 件 ,而 客户 端 不 受 影响 ,驱动 程序 也 无 须 更 换 。 但 由 于 通过 中 介 服 
务 器 转换 ,所 以 速度 较 慢 ,获得 架构 上 的 弹性 是 使 用 该 驱动 程序 的 目的 。 

第 四 类 : Native Protocol Driver。 这 种 类 型 的 驱动 程序 实现 通常 由 数据 库 厂商 直接 
提供 。 驱 动 程序 实现 将 JDBC 的 调用 转换 为 与 数据 库 特 定 的 网 络 协议 ,与 数据 库 进行 沟 
通 操作 ,如 图 2-8 所 示 。 


JDBC 驱 动 
数据 库 
图 2-8 第 4 类 JDBC 驱动 示意 图 


2. ODBC 

ODBC 与 JDBC 一 样 ,也 是 一 种 重要 的 数据 库 访 问 技术 。 开 放 式 数据 库 连 接 (Open 
DataBase Connectivity,ODBC) 最 初 是 Microsoft 公司 为 实现 MS Windows 平台 上 的 数据 
库 透 明 访问 而 开发 的 。 它 以 SQL Access Group (SAG, 现 属 X/Open) 的 调用 级 接口 
(Call-Level Interface,CLD 为 标准 应 用 编程 接口 。 自 1992 年 诞生 以 来 ,ODBC 得 到 了 数 
据 库 产业 界 的 广泛 支持 。 如 今 ,在 Windows、UNIX、OS/2 和 Macintosh 等 平台 上 都 有 
ODBC 驱动 程序 和 开发 工具 ,各 大 数据 库 和 工具 厂商 ,包括 Oracle、 Sybase、 Informix、 
Computer Associates .IBM、Gupta、PowerSoft、Borland、Microsoft 以 及 140 多 家 应 用 软 
件 开发 商 , 都 在 其 产品 中 提供 对 ODBC 的 支持 。 

ODBC 是 一 个 可 以 实现 本 地 或 远程 数据 库 连接 的 函数 集 , 提 供 一 些 通 用 的 接口 
(APD ,以 便 访问 各 种 后 台数 据 库 。 开 放 性 只 支持 关系 数据 库 , 但 可 以 支持 多 种 RDBMS。 
ODBC 应 用 程序 可 通过 ODBC 的 API 访问 不 同 数据 源 中 的 数据 ,每 个 不 同 的 数据 源 类 型 
由 ODBC 驱动 程序 支持 ,这 个 驱动 程序 完成 了 ODBC 的 API 程序 的 核心 ,并 与 具体 的 数 
据 库 通信 。ODBC 的 数据 库 驱 动 程序 由 操作 系统 的 DLL 文件 构成 ,操作 系统 的 DLL 文 
件 包括 一 系列 的 函数 ,可 以 对 所 有 适合 ODBC 驱动 程序 的 数据 库 类 型 提供 数据 库 服务 。 
ODBC 驱动 管理 程序 为 数据 源 打 开 ODBC 驱动 程序 并 将 SQL 语句 传送 给 驱动 程序 。 它 
由 3 个 部 分 组 成 : API、 驱 动 程序 管理 器 和 驱动 程序 ,如 图 2-9 所 示 。 

35 


日 志 审 计 与 分 析 Egg 


/®\ 
驱动 程序 管理 器 
一 . 
| 
dBase Oracle SQL Server EDA 
驱动 程序 驱动 程序 驱动 程序 驱动 程序 
dBase 
Oracle SQL Server EDA/SQL 


2-9 ”ODBC 系统 结构 图 


API 是 应 用 程序 与 ODBC 的 接口 , 即 一 个 函数 调用 集 , 由 它 完成 对 应 用 程序 所 提出 
的 SQL 语法 的 检查 ,以 及 数据 库 类 型 的 检查 ,并 将 检查 后 的 结果 移交 驱动 程序 管理 器 。 

驱动 程序 管理 器 根据 前 端 客 户 的 设置 确定 目标 数据 库 的 驱动 程序 ,并 加 载 到 
Windows 中 执行 初始 化 。 

驱动 程序 处 理 API 调用 、 实 现 SQL 请 求 的 传送 ,也 接收 数据 库 的 响应 、 送 回 前 端 
客户 。 


3. JDBC 与 ODBC 的 比较 

JDBC 是 由 SUN 公司 开发 的 , 它 的 思想 完全 基于 Java 语言 的 特性 。 用 Java 语言 编 
写成 的 Java 程序 与 数据 库 的 接口 规范 JDBC, 使 Java 程序 可 以 通过 统一 标准 规范 的 
JDBC API 与 不 同 的 数据 库 通 信 。Java 应 用 软件 与 数据 库 的 结合 及 Java 语言 的 跨 平台 物 
性 ,使 之 成 为 Internet 和 Intranet 环境 下 开发 数据 库 应 用 系统 的 理想 选择 方案 。 

ODBC 的 优点 在 于 ,应 用 程序 不 必 知 道 它 所 连接 的 是 何 种 类 型 的 数据 库 ,都 可 以 用 标 
准 SQL 编写 客户 应 用 程序 ,简化 了 对 数据 库 的 访问 ,为 程序 的 跨 平 台 开发 和 移植 提供 了 
方便 。 

JDBC 与 ODBC 相 比 有 以 下 5 个 不 同 点 。 

(1) ODBC 提供 了 C 接口 ,因而 Java 不 能 直接 引用 。 如 用 Java 调用 C 代码 , 则 有 损 
于 网 上 运行 的 安全 性 和 可 靠 性 。 

(2) ODBC 的 CAPI 运 用 了 大 量 的 指针 ,而 Java 消除 了 指针 等 认为 网 上 运行 不 安全 
的 因素 且 面 向 对 象 ,因此 JDBC 成 为 面向 对 象 的 接口 ,并 适用 于 Java 编程 。 

(3) JDBC 是 “ 纯 Java” 的 ODBC 解决 方案 , 它 的 好 处 在 于 : 取代 了 ODBC 发 布 必须 在 

台 客 户 机 上 手工 安装 ,而 JDBC 代码 在 所 有 Java 平台 上 随 运 行 环境 自动 安装 ,具有 可 

移植 性 和 安全 性 。 

(4) ODBC 难以 学 习 , 而 JDBC 仅 是 Java 开发 环境 的 一 部 分 。 
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(5) JDBC 具有 平台 无 关 性 ,适用 性 强 ,可 以 跨 平台 与 各 种 数据 库 连接 进行 访问 ; 直接 
访问 数据 库 , 避 免 了 服务 器 传统 连接 方式 中 的 “瓶颈 ”现象 ;由 于 Java 语言 的 多 线程 控制 
技术 ,所 以 程序 的 运行 效率 高 。 

从 功能 上 看 ,JDBC 也 已 经 逐步 得 到 广泛 的 支持 ,JDBC 为 了 访问 更 多 的 数据 库 , 提 供 
了 JDBC-ODBC 桥 扩展 其 功能 。 总 之 ,JDBC 保留 ODBC 的 基本 功能 ,区 别 在 于 JDBC 充 
分 地 利用 了 Java 的 风格 。 


2:3:4 “FIP 


文件 传输 协议 (File Transfer Protocol,FTP) 是 用 于 在 网 络 上 进行 文件 传输 的 一 套 标 
准 协议 ,使 用 客户 /服务 器 模式 。 它 属于 网 络 传输 协议 的 应 用 层 ,用 于 Internet 上 的 控制 
文件 的 双向 传输 。 同 时 , 它 也 是 一 个 应 用 程序 (application)。 基 于 不 同 的 操作 系统 有 不 
同 的 FTP 应 用 程序 ,而 所 有 这 些 应 用 程序 都 遵守 同一 种 协议 ,以 传输 文件 。 

文件 传输 协议 的 原始 规范 于 1971 年 4 月 16 日 发 布 为 RFC 114。 直 到 1980 年 ,FTP 
运行 在 TCP/ IP 的 前 身 NCP 上 。 该 协议 后 来 被 TCP / IP 版 本 ,RFC 765(1980 年 6 月 ) 
和 RFC 959(1985 年 10 月 )( 当 前 规范 ) 取 代 。RFC 959 提出 了 若干 标准 修改 ,如 RFC 
1579(1994 年 2 月 ) 启 用 防火 墙 FTP( 被 动 模式 ),RFC 2228(1997 年 6 月 ) 提 出 安全 扩展 ， 
RFC 2428(1998 年 9 月 ) 增 加 了 对 IPv6 的 支持 ,并 定义 了 一 种 新 型 的 被 动 模式 。 

在 FTP 的 使 用 中 ,用 户 经 常 遇 到 两 个 概念 :“ 下 载 "(Download) 和 “上 传 ”(Upload)。 
“下 载 ” 文 件 就 是 从 远程 主机 复制 文件 至 自己 的 计算 机 上 ;* 上 传 ”文件 就 是 将 文件 从 自己 
的 计算 机 中 复制 至 远程 主机 上 。 用 Internet 语言 来 说 ,用 户 可 通过 客户 机 程序 向 (从 ) 远 
程 主机 上 传 (下 载 ) 文 件 。 

FTP 的 传输 有 两 种 方式 : ASCII 传输 方式 和 二 进 制 传输 模式 。 


1. AScCII 传输 方式 

如 用 户 正在 复制 的 文件 包含 简单 的 ASCII 码 文本 ,而 远程 机 器 上 运行 的 不 是 UNIX 
操作 系统 ,文件 传输 时 FTP 通常 会 自动 调整 文件 的 内 容 , 以 便 把 文件 解释 成 远 端 计算 机 
存储 文本 文件 的 格式 。 

但 常常 会 遇 到 这 样 的 情况 : 用 户 正 在 传输 的 文件 包含 的 不 是 文本 文件 ,可 能 是 程序 、 
数据 库 、 字 处 理 文件 或 者 压缩 文件 等 其 他 文件 格式 。 在 复制 上 述 这 些 非 文 本 文件 前 ,需要 
用 binary 命令 告诉 FTP 采用 逐 字 复制 方式 。 


2. 二 进 制 传输 模式 

在 二 进 制 传输 中 ,即使 目的 机 器 上 包含 位 序列 的 文件 是 没 意 义 的 ,也 需要 保存 文件 的 
位 序 , 以 便 原始 和 复制 的 是 逐 位 对 应 的 。 例 如 ,Macintosh 以 二 进 制 方式 传送 可 执行 文件 
到 Windows 系统 ,在 对 方 系统 上 ,此 文件 不 能 执行 。 

如 果 在 ASCII 方式 下 传输 二 进 制 文件 ,系统 会 自动 转译 ,从 而 造成 数据 损坏 。( 在 
ASCII 方 式 中 ,一 般 假设 每 一 字符 的 第 一 有 效 位 无 意义 ,因为 ASCII 字符 组 合 不 使 用 它 。 
如 果 传 输 二 进 制 文件 ,所 有 的 位 都 是 重要 的 。) 
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FTP 支持 两 种 模式 : Standard(PORT ,主动 方式 ) 模 式 和 Passive(PASV ,被 动 方式 ) 
模式 。 

1) Standard 模式 

FTP 客户 端 首先 和 服务 器 的 TCP 21 端口 建立 连接 ,用 来 发 送 命令 ,客户 端 需要 接收 
数据 的 时 候 在 这 个 通道 上 发 送 PORT 命令 。PORT 命令 包含 了 客户 端 用 什么 端口 接收 
数据 。 在 传送 数据 的 时 候 , 服 务 器 端 通过 自己 的 TCP 20 端口 连接 至 客户 端的 指定 端口 
发 送 数据 。FTP Server 必须 和 客户 端 建立 一 个 新 的 连接 用 来 传送 数据 。 

2) Passive 模式 

建立 控制 通道 和 Standard 模式 类 似 , 但 建立 连接 后 发 送 Pasv 命令 。 服 务 器 收 到 
Pasv 命令 后 ,打开 一 个 临时 端口 (端口 号 大 于 1023 小 于 65535) 并 且 通 知客 户 端 在 这 个 
端口 上 传送 数据 的 请 求 ,客户 端 连接 FTP 服务 器 的 此 端口 ,然后 FTP 服务 器 将 通过 这 个 
端口 传送 数据 。 

很 多 防火 墙 在 设置 的 时 候 都 是 不 允许 接受 外 部 发 起 的 连接 的 ,所 以 许多 位 于 防火 墙 
后 或 内 网 的 FTP 服务 器 不 支持 PASV 模式 ,因为 客户 端 无 法 穿 过 防火 墙 打 开 FTP 服务 
器 的 高 端 端口 ;而 许多 内 网 的 客户 端 不 能 用 PORT 模式 登录 FTP 服务 器 ,因为 从 服务 器 
的 TCP 20 无 法 和 内 部 网 络 的 客户 端 建立 一 个 新 的 连接 ,造成 无 法 工作 。 


2.3.5， 文 本 


由 于 生成 文本 日 志 系统 的 成 本 较 低 , 现 有 的 许多 计算 机 语言 中 都 包含 了 可 以 轻松 生 
成 基于 文本 日 志 的 框架 。 
文本 日 志 主 要 分 为 扁平 文本 文件 和 索引 扁平 文本 文件 。 


1. 扁平 文本 文件 

扁平 文本 文件 在 许多 方面 上 是 一 个 扁平 的 无 模式 文件 ,可 能 遵循 某 种 常见 模式 或 自 
由 格式 。 系 统 通常 会 创建 一 个 新 日 志文 件 , 并 持续 向 其 追加 写 人 ,直到 磁盘 空间 不 足 或 某 
个 系统 进程 指示 系统 开始 一 个 新 日 志文 件 并 存储 当前 文件 。 这 种 格式 倾向 于 以 时 间 先 后 
排序 ,最 早 发 生 的 时 间 位 于 文件 开始 处 ,最 近 发 生 的 时 间 位 于 文件 末尾 。 使 用 扁平 文本 文 
件 长 期 存储 日 志 数 据 的 显著 优势 之 一 是 可 以 使 用 大 量 工具 阅读 和 审核 这 种 格式 的 数据 ， 
每 个 平台 都 有 许多 工具 可 以 轻易 访问 和 读 取 此 种 格式 的 文件 ,如 果 在 未 来 5、7 或 10 年 需 
要 阅读 或 审核 数据 ,就 需要 能 够 处 理 和 关联 时 间 记 录 的 工具 ,这 一 点 非常 重要 。 


2. 索引 扁平 文本 文件 

扁平 文本 文件 的 一 个 局 限 性 是 如 何 从 扁平 文本 文件 中 实现 快速 查询 排序、 检索 关键 
元 素 , 以 通过 这 些 管 理 平台 发 现 有 意义 趋势 的 能 力 。 此 外 , 随 着 日 志文 件 迅 速 跨 入 GB、 
TB, 甚 至 PB 级 别 ,再 使 用 传统 的 grep、awk 和 基于 文本 的 搜索 工具 会 让 人 失去 耐心 , 变 
成 一 个 极其 耗 时 的 过 程 。 索 引文 本 文件 是 一 种 从 日 志文 件 中 组 织 数据 的 方式 , 它 使 日 志 
的 关键 元 素 能 被 快速 查询 。 许 多 组 织 可 能 在 组 织 成 长 和 开始 集中 日 志 信 息 时 ,很 快 发 现 
需要 结构 生成 报表 ,以 及 在 超出 留存 周期 时 销毁 日 志 数 据 , 从 而 开始 采用 索引 扁平 文本 日 
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志文 件 。 索 引 扁平 文本 文件 具备 扁平 文本 文件 的 许多 优点 ,具备 快速 数据 插入 能 力 , 并 保 
持 人 类 可 读 的 数据 格式 。 也 有 许多 旨 在 生成 索引 ,以 加 快 日 志 搜 索 和 分 析 的 工具 ,如 
Apache Lucene Core 是 较 强 大 的 工具 之 一 , 它 能 辅助 索引 的 生成 ,实现 完全 的 文本 搜索 日 
志 , 并 且 集 成 到 辅助 日 志 搜 索 及 分 析 的 工具 中 。 

以 文本 方式 收集 系统 日 志 , 是 先前 非常 流行 的 方法 ,主要 有 两 种 方式 。 

(1) 邮件 : 被 动 日 志 收 集 方式 ,通过 事先 在 设备 内 设 定好 通告 触发 规则 , 当 符合 规则 
事件 发 生 时 ,记录 下 发 生 事件 的 具体 信息 ,在 某 一 时 间 内 主动 将 日 志 信 息 以 邮件 的 方式 发 
送 给 日 志 接收 服务 器 。 

(2) FTP: 主动 日 志 收 集 方式 采用 事先 开发 出 客户 端 收集 系统 ,每 次 抓 取 日 志文 本 ， 
并 以 FTP 的 方式 传 回 日 志 接收 服务 器 。 


2.3.6 Web Service 


Web Service 是 一 个 平台 独立 的 、 低 耦合 的 . 自 包 含 的 .基于 可 编程 的 Web 应 用 程序 ， 
可 使 用 开放 的 XML( 标 准 通用 标记 语言 下 的 一 个 子 集 ) 标 准 描述 、 发 布 发现, 协调 和 配置 
这 些 应 用 程序 ,是 用 于 开发 分 布 式 的 互 操作 的 应 用 程序 。 

Web Service 技术 使 得 运行 在 不 同 机 器 上 的 不 同 应 用 无 须 借助 附加 的 、 专 门 的 第 三 
方 软件 或 硬件 ,就 可 相互 交换 数据 或 集成 。 依 据 Web Service 规范 实施 的 应 用 之 间 ,无 论 
它们 使 用 的 语言 .平台 或 内 部 协议 是 什么 ,都 可 以 相互 交换 数据 。Web Service 是 自 描 
述 、 自 包含 的 可 用 网 络 模 块 ,可 以 执行 具体 的 业务 功能 。Web Service 也 很 容易 部 署 , 因 
为 它们 基于 一 些 常 规 的 产业 标准 以 及 已 有 的 一 些 技 术 , 诸 如 标准 通用 标记 语言 下 的 子 集 
XML、HTTP。Web Service 为 整个 企业 甚至 多 个 组 织 之 间 的 业务 流程 的 集成 提供 了 一 
个 通用 机 制 。 


2.3.7 第 三 方 系统 


第 三 方 系统 是 指 系统 接 入 的 其 他 外 部 设备 ,日 志 收 集 与 分 析 系 统 能 够 实现 与 外 部 系 
统 的 接口 ,实现 与 第 三 方 系统 的 统一 门户 的 集成 。 接 口 支 持 标 准 的 Portal 标准 ,同时 还 
支持 基于 Web 2. 0 的 meshup 技术 ,实现 与 第 三 方 系统 统一 门户 基于 URL 的 集成 。 这 些 
接口 服务 都 内 置 安全 机 制 ,包括 信息 认证 、 信 息 加 密 等 。 


2 4 日 志 收 集 器 


日 志 收 集 器 支持 同步 到 系统 服务 器 ,监控 日 志 收集 器 的 状态 并 能 告警 ;收集 器 支持 自 
保护 能 力 , 防 止 非 授权 用 户 强行 终止 收集 器 的 运行 ,防止 非 授 权 用 户 强 制 取 消 收集 器 在 系 
统 启动 时 自动 加 载 ,防止 非 授 权 用 户 强行 卸载 .删除 或 修改 收集 器 ;系统 能 监视 收集 器 的 
状态 ,并 在 审计 日 志 中 记录 收集 器 的 状态 变更 ,如 启动 终止。 只 有 授权 管理 员 能 决定 数 
据 传输 的 启动 和 终止 。 当 收集 器 与 系统 服务 器 连接 出 现 故障 时 ,收集 器 具有 措施 防止 日 

39 


日 志 审 计 与 分 析 ss 


志 数 据 丢失 ,确保 在 收集 器 与 系统 服务 器 的 连接 恢复 正常 后 ,收集 器 能 将 日 志 续 传 到 系统 
服务 器 上 。 管 理 中心 可 查看 收集 器 的 启动 时 间 和 停止 时 间 。 

大 数据 应 用 的 普及 给 日 志 收 集 技术 带 来 了 新 的 革命 ,通过 引用 各 种 分 布 式 技术 实现 
对 大 容量 的 日 志 收 集 功能 。 

Facebook 就 开发 了 其 开源 的 日 志 收集 系统 Scribe, 目 前 已 在 Facebook 内 部 得 到 大 
量 的 应 用 , 它 提 出 了 一 个 “分 布 式 收集 ,统一 处 理 ” 的 可 扩展 、 高 容错 的 方案 , 它 通常 与 
Hadoop 结合 使 用 ,Scribe 用 于 向 HDFS 中 推送 日 志 , 而 Hadoop 通过 Mapreduce 作业 进 
行 定期 处 理 。 

Flume 是 Cloudera 提供 的 一 个 高 可 用 的 、 高 可 靠 的 ,分布 式 的 海量 日 志 收 集 、 聚 合 和 
传输 的 系统 , Flume 提供 了 从 console (控制 台 )、RPC(Thrift-RPC)、text (文件 )、tail 
(UNIX tail) ,Syslog(Syslog 日 志 系统 ,支持 TCP 和 UDP 两 种 模式 ) ,exec( 命 令 执 行 ) 等 
数据 源 上 收集 数据 的 能 力 ,在 不 同 的 客户 端 收集 不 同 结构 的 数据 ,定义 各 自 的 一 套 收 集 
环境 。 

Chukwa 是 一 个 开源 的 用 于 监控 大 型 分 布 式 系 统 的 数据 收集 系统 ,同样 作为 Apache 
的 开源 项 目 , 是 构建 在 Hadoop 的 HDFS 和 MapReduce 框架 之 上 的 ,不 仅 继承 了 Hadoop 
的 可 伸缩 性 和 和 鲁 棒 性 ,还 包含 了 一 个 强大 和 灵活 的 工具 集 , 可 用 于 展示 ,监控 和 分 析 已 收 
集 的 数据 。 

国内 在 日 志 收 集 上 采用 的 主要 是 国外 的 技术 ,并 且 能 很 好 地 运用 到 各 自 的 实际 应 用 
中 。 例 如 , 美 团 采 用 Flume 的 日 志 处 理 系统 收集 .处 理 企业 内 部 的 数据 。 越 来 越 多 的 公 
司 、 科 研 机 构 争 先 参与 到 对 日 志 收 集 的 研究 中 ,对 日 志 收 集 技术 的 发 展 起 到 了 很 大 的 推动 
作用 。 

日 志 收 集 的 主要 对 象 为 服务 器 日 志 , 对 不 同类 型 的 服务 器 日 志 , 执 行 不 同 的 收集 脚 
本 ,再 将 收集 的 统一 格式 日 志 信 息 存储 到 索引 中 ,统一 存储 ,使 用。 日 志 收 集 流程 如 图 2-10 


所 示 。 
服务 器 日 志 


执行 收集 脚本 


| 


存储 到 索引 


索引 


2-10 日 志 收 集 流程 
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服务 器 中 记录 了 服务 器 上 的 所 有 服务 和 安装 在 该 服务 器 上 的 所 有 应 用 程序 服务 ,全 
面 记录 了 这 些 服务 进程 每 分 每 秒 的 状态 ,如 时 间 、 所 属 服务 、 跳 转 地 址 、 进 行 的 操作 、 记 录 
的 状态 是 正常 .错误 ,还 是 警告 。 日 志 记 录 了 各 个 时 间 状 态 下 服务 器 上 进程 的 运行 状况 。 

当 用 户 通 过 网 页 访问 服务 器 内 的 数据 时 ,会 产生 访问 日 志 , 伴 随 着 记录 访问 文件 位 
置 ,也 会 记录 下 客户 端的 一 些 计算 机 信息 ,如 客户 端的 操作 系统 、 浏 览 器 版 本 、IP 地 址 等 
其 他 信息 。 


1. 简 述 日 志 收 集 对 象 有 哪些 。 

2. 概述 每 种 日 志 收 集 对 象 的 特点 。 

3. 概述 几 种 典型 日 志 收 集 方式 的 主要 内 容 。 
4. 对 几 种 典型 的 日 志 收集 方式 进行 比较 。 
5. 简 述 日 志 收集 器 的 流程 。 
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事件 归 一 化 


网 络 系统 中 由 于 存在 着 不 同 的 收集 对 象 以 及 不 同 的 收集 方式 ,其 所 收集 的 日 志 形 式 
也 多 种 多 样 , 故 需 要 进行 归 一 化 处 理 ,为 其 他 模块 的 计算 分 析 葛 定 基础 。 本 章 将 详细 介绍 
事件 归 一 化 的 原理 方法 及 效果 。 通 过 本 章节 的 学 习 , 达 到 了 解 事件 归 一 化 的 原因 、 熟 悉 
事件 归 一 化 的 方法 及 其 效果 的 目标 。 


3 1 事件 过 滤 


3.1.1 事件 过 滤 介 绍 


在 日 志 记录 和 日 志 管 理 的 过 程 中 ,为 减轻 管理 员 审 核 日 志 、 寻 找 潜在 问题 的 工作 负 
担 , 日 志 分 析 系 统 提供 自动 化 机 制 对 原始 日 志 事 件 进行 过 滤 、 规 范 化 和 关联 ,如 图 3-1 
所 示 。 


原始 日 志 数 据 过 滤 ” 同 范 化 日 志 数 关联 


长 期 存储 


例外 
3-1 日 志 事 件 处 理 过 程 


大 规模 网 络 通常 具有 复杂 性 ,再 加 上 各 种 日 志 记 录 的 事件 具有 不 确定 性 ,导致 各 种 
日 志 设备 产生 的 日 志 信 息 可 能 不 完善 ,甚至 存在 某 些 错误 。 因 此 ,为 了 保证 日 志 归 一 
化 的 准确 度 和 效率 ,必须 对 原始 日 志 数据 进行 过 滤 操 作 。 原 始 的 日 志 可 能 存在 下 述 错 
误 信 息 。 
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(1) 信息 不 全 面 : 日 志 收 集 与 分 析 系 统 收集 的 各 种 设备 日 志 的 某 些 重要 属性 值 可 能 
缺失 ,直接 处 理 这 些 信息 毫 无 意义 ,应 将 其 过 滤 掉 。 

(2) IP 地 址 错误 : 很 多 网 络 攻 击 者 为 了 逃避 追踪 ,常常 会 使 用 虚假 的 源 IP 地 址 , 因 
此 需要 过 滤 这 类 日 志 信息 。 当 目的 IP 不 在 检测 网 络 范 围 内 时 ,应 将 其 过 滤 掉 。 

(3) 重复 记录 : 对 于 同一 个 事件 ,可 能 会 在 短期 内 产生 多 条 日 志 记录 。 

事件 过 滤 是 对 从 不 同 远 程 机 器 上 收集 的 原始 日 志 数 据 进行 分 析 , 保 留 对 管理 员 关 心 
的 日 志 消 息 , 而 将 无 关 的 日 志 消 息 抛弃 ,以 减少 整个 系统 的 负载 。 在 图 3-1 中 ,事件 过 滤 
步骤 指向 一 个 例外 存储 的 箭头 ,例外 存储 保存 着 管理 员 当 前 不 太 关心 而 以 后 可 能 会 用 到 
的 日 志 消息 。 

Marcus Ranum 在 1997 年 创造 了 人 为 忽略 (Artificial Ignorance) 概 念 ,其 核心 机 制 是 
通过 寻找 管理 员 熟 悉 的 日 志 数 据 , 从 而 发 现 管理 员 尚 不 知道 的 事件 。 它 提供 了 如 下 
UNIX shell 命令 辅助 这 一 过 程 ,其 命令 如 下 所 示 。 


cd /var/log 

Cat * | \ 

sed -e 's/^.*demo//' -e "SA[[0-9]* NMV/VA IN\ 
sort | ni 一 下 AN 


sort -r -n> /tmp/xx 


在 sed 命令 中 ,“demo" 字 符 串 是 运行 命令 的 系统 名 称 。 其 思路 是 提取 这 个 字符 串 和 
日 志 消 息 的 前 导 时 间 惟 ,以 便 减少 日 志 数 据 中 的 可 变性 。 这 条 命令 对 应 的 输出 如 下 。 


297 cron: (root) CMD (/usr/bin/at) 

167 sendmail: alias database /etc/aliases.db out of date 
120 ftpd: PORT 

61 lpd: restarted 

48 kernel: wdpi0:transfer size=20148 intr cmd DRQ 


= BEC 


日 志 消 息 前 面 的 数字 显示 该 消息 在 日 志文 件 中 出 现 的 次 数 ,与 此 同时 ,日 志 消 息 在 输 
出 过 程 中 ,数字 越 来 越 小 ,表示 对 应 的 日 志 消 息 出 现 的 频率 越 来 越 小 。Ranum 的 文章 中 
指出 ,可 以 将 已 知 的 事务 放 在 一 个 忽略 文件 中 ,以 便 排除 它们 。 


3.1.2 ”事件 过 滤 使 用 的 方法 


数据 过 滤 是 按照 需求 将 不 完整 的 .错误 的 或 者 无 关 紧 要 的 数据 从 日 志 中 删除 。 将 不 

同 远程 机 器 上 收集 的 日 志 汇 总 到 日 志 处 理 服务 器 上 ,分 析 日 志 中 的 不 同 字段 ,通常 日 志 中 
包含 错误 代码 、 传 输 协议 、IP 地 址 、 进 程 名 、 远 程 地址 、 用 户 名 、URL、 时 间 等 字段 。 当 对 某 
个 服务 进行 监控 时 ,收集 它 的 进程 日 志 . 包 括 系统 使 用 的 服务 进程 日 志和 用 户 使 用 的 服务 
进程 日 志 , 但 是 系统 使 用 的 服务 进程 分 析 没有 意义 ,所 以 可 以 过 滤 掉 这 些 没有 实际 应 用 的 
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元 素 , 其 具体 流程 如 图 3-2 所 示 。 


1 


读 入 一 条 索引 


删除 是 


3-2 ”事件 过 滤 流 程 图 


(1) 状态 级 别 识别 。 通 常 ,运行 日 志 中 主要 分 为 medium ,info error 3 个 级 别 表示 程 
序 运 行情 况 ,medium 代表 正常 ,info 代表 警告 ,error 代表 错误 ,所 以 在 数据 筛选 时 主要 取 
error 的 日 志 。 

(2) 服务 进程 识别 。 在 监控 的 服务 进程 中 ,日 志 存 在 processname 字段 ,可 以 看 到 所 
有 的 进程 日 志 , 需 要 筛选 用 户 启动 的 服务 进程 ,如 浏览 器 进程 或 者 QQ 进程 等 具体 流程 。 

(3) 日 志 去 重 。 在 实际 进行 取 值 的 过 程 中 ,需要 对 事件 日 志 进 行 去 重 操作 ,在 数 万 条 
记录 中 筛选 出 最 新 的 .最 有 价值 的 日 志 信息 ,进行 后 续 操 作 ,从 而 缩小 日 志 范 围 。 

除了 上 述 根据 日 志 的 标志 字段 进行 事件 过 滤 以 外 ,还 可 以 通过 检查 日 志 记录 中 每 个 
属性 的 存储 格式 ,以 及 检查 其 实际 内 容 是 否 符合 规范 对 事件 进行 过 滤 ,如 空缺 值 ,识别 、 删 
除 孤立 点 ,删除 某 些 重 复 记录 ,对 属性 值 的 有 效 性 进行 检验 等 。 


1. 空缺 值 

对 空缺 值 的 处 理 即 如 何 为 该 属性 填补 上 空缺 的 值 。 在 空缺 值 的 处 理 上 ,一 般 采 用 如 
下 方法 : 

(1) 除非 元 组 有 多 个 属性 缺少 值 ,一般 情况 下 忽略 元 组 。 

(2) 人 工 填写 空缺 值 。 一 般 来 说 ,该 方法 很 费时 ,并 且 当 数据 集 很 大 、 空 缺 值 数 量 较 
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大 时 ,该 方法 行 不 通 。 

(3) 使 用 一 个 全 局 变量 填补 空缺 值 : 将 空缺 的 属性 值 用 同一 个 常数 (如 “Unknown” 
或 一 co) 替 换 。 如 果 空 缺 值 都 用 "Unknown” 替 换 , 程 序 可 能 误 以 为 它们 形成 了 一 个 有 趣 
的 概念 ,因为 它们 都 具有 相同 的 值 *Unknown”。 因 此 ,虽然 该 方法 简单 ,但 一 般 不 使 用 。 

(4) 使 用 属性 的 平均 值 填充 空缺 值 。 例 如 ,假定 企业 顾客 平均 收入 为 2000 元 , 则 用 
该 值 替换 收入 属性 中 的 空缺 值 。 

(5) 使 用 与 给 定 元 组 属 同一 类 的 所 有 样本 的 平均 值 。 例 如 ,将 顾客 按 信 用 风险 分 类 ， 
用 具有 相同 信用 度 的 顾客 的 平均 收入 替换 收入 属性 中 的 空缺 值 。 

(6) 使 用 最 可 能 的 值 填充 空缺 值 。 可 以 用 回归 、 贝 叶 斯 形式 化 方法 工具 或 判定 树 归 
纳 等 确定 空缺 值 。 例 如 ,利用 数据 集中 其 他 顾客 的 属性 ,可 以 构造 一 棵 判定 树 ,预测 收入 
这 个 属性 的 空缺 值 。 

方法 (3) 一 (6) 使 数据 倾斜 , 填 人 的 值 可 能 不 正确 。 其 中 方法 (6) 是 最 常用 的 方法 ,与 
其 他 方法 相 比 , 它 使 用 现存 数据 的 多 数 信息 推测 空缺 值 。 在 估计 收入 属性 的 空缺 值 时 , 通 
过 考虑 其 他 属性 的 值 , 有 更 大 的 机 会 保持 收入 和 其 他 属性 之 间 的 联系 。 


2. 重复 数据 

检测 和 消除 重复 记录 的 问题 是 数据 清理 和 数据 质量 领域 研究 的 主要 问题 之 一 。 在 归 
并 多 源 异 构 日 志 数 据 的 过 程 中 ,需要 从 各 种 数据 源 导 和 人 大量 的 数据 。 理 想 情况 下 ,对 于 现 
实 世 界 中 的 一 个 实体 ,数据 源 中 应 该 只 有 一 条 与 之 对 应 的 记录 。 但 在 对 异 构 信息 表示 的 
多 个 数据 源 进 行 集成 时 ,由 于 实际 数据 中 可 能 存在 数据 输入 错误 ,格式 、 拼 写 上 存在 差异 
等 各 种 问题 ,导致 不 能 正确 识别 出 标识 同一 个 实体 的 多 条 记录 ,使 得 逻辑 上 指向 同一 个 现 
实 世 界 的 实体 在 归并 后 的 数据 中 可 能 会 有 多 个 不 同 的 表示 , 即 同一 实体 对 象 可 能 对 应 多 
条 记录 。 

重复 数据 会 导致 错误 的 归并 模式 ,因此 有 必要 去 除数 据 集中 的 重复 数据 ,以 提高 后 续 
归并 的 精度 和 速度 。 每 种 重复 记录 检测 方法 都 需要 确定 是 否 有 两 个 及 以 上 的 实例 表示 的 
是 同一 实体 。 有 效 的 检测 方法 是 对 每 一 个 实例 都 与 其 他 实例 进行 对 比 , 从 而 发 现 重 复 实 
例 。 然 而 ,这 种 方法 虽然 效果 最 好 ,但 其 计算 复杂 度 为 OC )(n 为 数据 集中 的 记录 数 ) 。 
这 种 方法 效率 不 高 ,并 且 费 时 .费力 ,现实 中 一 般 不 采用 。 

为 了 从 数据 集中 检测 并 消除 重复 记录 ,首要 的 问题 是 如 何 判断 两 条 记录 是 否 是 重复 
的 。 这 就 需要 比较 记录 的 各 对 应 属性 ,计算 其 相似 度 ,再 根据 属性 的 权重 进行 加 权 平 均 后 
得 到 记录 的 相似 度 , 如 果 两 条 记录 的 相似 度 超过 了 某 一 冰 值 , 则 认为 两 条 记录 是 匹配 的 ， 
否则 认为 这 两 条 记录 是 指向 不 同 实体 的 记录 。 

排序 合并 方法 是 检测 数据 库 中 完全 重复 记录 的 标准 方法 。 它 的 基本 思想 是 , 先 对 数 
据 集 排序 ,然后 比较 相 邻 记录 是 否 相等 。 这 一 方法 也 为 在 整个 数据 集 上 检测 重复 记录 提 
供 了 思路 ,目前 已 有 的 检测 重复 记录 的 方法 也 大 多 以 此 思想 为 基础 。 目 前 采用 的 比较 普 
遍 的 算法 是 基本 邻近 排序 算法 (Basic Sorted Neighborhood Method,SNM) 。 该 算法 的 思 
想 是 ,将 数据 集中 的 记录 按 指定 的 关键 字 (key) 排 序 ,然后 在 排序 后 的 数据 集 上 移动 一 个 
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固定 大 小 的 窗口 ,只 检测 窗口 内 的 记录 ,并 判定 它们 是 否 匹配 ,以 此 减少 记录 的 比较 次 数 。 
但 使 用 这 种 方法 ,时 间 与 空间 开销 太 大 ,所 以 在 删除 重复 记录 方面 ,目前 研究 最 多 的 是 基 
于 距离 的 识别 算法 ,如 声音 距离 ,编辑 距离 输入 距离 等 。 


3. 噪声 数据 

噪声 是 一 个 测量 变量 中 的 随机 错误 或 偏差 。 噪 声 数 据 的 出 现 可 能 有 多 种 原因 。 噪 声 
数据 的 存在 ,使 得 数据 不 在 规定 的 数据 域内 ,从 而 会 影响 后 面 的 挖掘 效果 和 结果 。 关 于 如 
何 能 够 去 掉 数 据 中 的 噪声 ,有 如 下 4 种 方法 。 

(1) 分 箱 (binning): 分 箱 法 是 通过 考察 邻居 ”( 即 周围 的 值 ) 平 滑 存储 数据 的 值 , 即 
存储 的 值 被 分 布 到 一 些 “ 桶 ”或 箱 中 。 由 于 分 箱 法 参考 的 是 邻居 数据 ,因此 它 进行 的 是 局 
部 平滑 。 

(2) 聚 类 (clustering): 孤立 点 可 以 被 聚 类 检测 。 聚 类 将 类 似 的 值 组 织 成 群 或 “ 聚 
类 ”。 那 些 落 在 聚 类 集合 之 外 的 值 则 被 视 为 孤立 点 。 

(3) 计算 机 与 人 工 检查 结合 : 可 以 通过 计算 机 和 人 工 检查 结合 的 方法 识别 孤立 点 。 

(4) 回归 (regression) : 可 以 通过 让 数据 适合 一 个 函数 如 回归 函数 平滑 数据 。 线 性 回 
归 涉 及 找 出 适合 两 个 变量 的 “最 佳 " 直 线 ,使 得 一 个 变量 能 够 预测 另 一 个 。 多 线性 回归 是 
线性 回归 的 扩展 , 它 涉 及 多 于 两 个 变量 ,数据 要 适合 一 个 多 维 面 。 使 用 回归 , 找 出 适合 数 
据 的 数学 方程 式 ,能 够 帮助 消除 数据 中 的 噪声 。 


4. 不 一 致 数据 

不 一 致 数据 产生 的 主要 原因 是 系统 和 应 用 造成 的 数据 类 型 格式、 制式 .粒度 和 编码 
方式 等 ,另外 还 有 错误 的 输入 、 硬 件 或 软件 故障 ,不 及 时 更 新 造成 的 数据 库 状 态 改变 等 。 
过 滤 的 方法 主要 在 分 析 不 一 致 性 数据 产生 原因 的 基础 上 ,应 用 多 种 变换 函数 .格式 函 数 、 

在 数据 过 滤 的 各 种 问题 中 ,多 数据 源 归 并 以 及 其 他 各 种 原因 造成 的 重复 信息 是 最 关 
键 的 问题 之 一 。 


3 2 归 一 化 的 原因 


随 着 信息 技术 的 不 断 发 展 , 网 络 系统 中 诸如 操作 系统 、 网 络 设备 .应 用 系统 等 日 志 收 
集 对 象 的 功能 和 性 能 不 断 完善 和 加 强 , 各 种 设备 或 系统 产生 的 日 志 数量 呈 指 数 级 增长 趋 
势 。 由 于 日 志 收集 对 象 和 收集 方式 多 种 多 样 ,加 上 网 络 系统 中 的 设备 往往 来 自 于 多 个 不 
同 厂商 ,这 些 厂 商 指 定 的 日 志 格 式 各 不 相同 ,这 给 日 志 审计 系统 的 分 析 工 作 带 来 了 不 小 的 
问题 。 与 此 同时 , 随 着 日 志 量 越 来 越 大 ,如 果 不 能 及 时 快速 地 处 理 各 种 格式 的 日 志 , 势 必 
影响 审计 系统 对 这 些 日 志 数 据 的 处 理 分 析 , 从 而 影响 审计 平台 的 工作 效率 ,不 利于 维护 网 
络 的 安全 和 稳定 。 

目前 ,各 系统 间 的 数据 库 在 体系 结构 、 数 据 类 型 和 操作 方法 上 存在 异 构 , 需 要 进行 数 
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据 转换 ,才能 实现 数据 的 发 布 与 共享 。 而 且 数 据 在 各 数据 源 间 进 行 转换 ,不 是 简单 地 从 源 
数据 库 中 提取 某 个 表 数 据 直接 存 人 目标 数据 库 , 而 是 相当 复杂 的 过 程 , 需 要 考虑 多 方面 的 
问题 ,归纳 起 来 有 以 下 4 点 。 

(1) 从 数据 库 中 提取 数据 是 复杂 的 。 需 要 提取 的 数据 是 多 表 融 合 的 数据 , 需 将 不 同 
表 字 段 值 合并 为 一 个 字段 值 (或 重 命名 字段 ) ;或 取 某 字符 字段 值 的 子 字符 串 ;或 需 对 某 些 
数据 进行 较 高 层次 的 聚集 ,如 对 某 数值 字段 的 平均 。 

(2) 存在 多 个 输入 数据 源 。 待 转换 的 数据 一 般 来 自 不 同 数据 源 中 的 不 同 表 ,这 就 要 
求 数据 与 数据 源 的 对 应 关系 逻辑 上 很 清楚 ,以 便 从 正确 的 数据 源 提取 正确 的 数据 。 

(3) 源 数据 库 的 键 及 其 他 约束 在 目标 数据 库 中 可 能 改变 。 将 多 表 数 据 融合 后 ,原来 
的 约束 常常 改变 ,目标 数据 库 中 的 新 约束 与 待 转换 数据 是 否 矛 盾 , 需 要 仔细 考察 和 妥善 
解决 。 

(4) 源 数据 与 目标 数据 类 型 的 转换 问题 。 不 同 的 数据 库 系统 的 数据 类 型 不 同 , 在 将 
数据 存 人 目标 数据 库 时 需要 做 类 型 的 转换 。 

这 些 问 题 使 得 关系 数据 库 之 间 的 数据 转换 变 得 复杂 ,需要 研究 合适 的 策略 完成 转换 ， 
提高 数据 的 共享 程度 。 

日 志 归 一 化 将 不 同 格式 的 原始 日 志 归 一 化 为 一 种 具有 统一 格式 的 日 志 , 为 其 他 模块 
集中 处 理 日 志 葛 定 基础 。 因 此 ,为 了 方便 其 他 模块 对 日 志 数 据 的 利用 ,提高 日 志 审计 系统 
的 审计 效率 ,必须 在 对 日 志 进 行 数据 挖掘 前 对 来 自 各 个 设备 的 原始 日 志 进 行 归 一 化 预 处 
理 , 在 审计 前 统一 各 种 日 志 格式 ,提高 日 志 数 据 的 质量 。 


33 归 一 化 的 方法 及 效果 


3.3.1 归 一 化 的 方法 


事件 过 滤 的 下 一 步骤 是 事件 归 一 化 。 在 这 一 过 程 中 ,获取 原始 数据 ,并 将 其 各 个 元 素 
( 源 和 目标 IP 等 ) 映 射 到 一 个 公共 的 格式 。 归 一 化 过 程 中 的 一 个 重要 的 步骤 是 分 类 ,也 就 
是 将 日 志 消 息 转换 为 更 有 意义 的 信息 块 。 归 一 化 原始 日 志 消息 的 基本 步骤 表示 如 下 。 

。 获 取 过 滤 后 的 原始 日 志 消 息 。 

。 阅读 原始 日 志 数 据 形式 及 每 个 字段 的 说 明 。 

。 数 据 转 换 和 数据 归并 ,提出 格式 化 数据 所 用 的 对 应 的 解析 表达 式 , 大 部 分 日 志 分 

析 系 统 利用 正则 表达 式 解 析 数 据 。 

。 在 样本 原始 日 志 数 据 上 测试 解析 人 逻辑 。 

。 部 署 解析 人 逻辑 。 

。 存储 。 

不 管 归 一 化 事件 使 用 的 最 终 存 储 机 制 是 什么 ,最 终 都 需要 保留 一 些 通用 的 字段 ,这 些 
字段 包括 源 和 目标 IP 地 址 ` 源 和 目标 端口 分 类 学 、 时 间 戳 .用 户 信息 、 优 先 级 和 原始 
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日 志 。 

源 和 目标 IP 地 址 : 在 后 续 关 联 分 析 过 程 中 非常 有 用 。 

源 和 目标 端口 : 用 于 理解 哪些 服务 试图 访问 或 者 被 访问 。 

分 类 学 : 分 类 学 是 分 类 和 编码 日 志 消息 含义 的 一 种 手段 。 例 如 ,所 有 设备 供应 商都 
生成 某 种 消息 日 志 。 这 些 消息 通常 映射 到 登录 成 功 . 失 败 、 尝 试 等 。 

时 间 截 : 在 日 志 数 据 的 世界 中 ,我 们 通常 关心 两 类 时 间 截 ,即日 志 消 息 在 设备 上 生成 
的 时 间 和 日 志 记录 系统 接收 日 志 消 息 的 时 间 。 

用 户 信息 : 如 果 提 供 了 这 个 信息 ,捕获 它们 (如 用 户 名 ,命令 ,目录 位 置 等 ) 往 往 是 很 
好 的 事情 。 

优先 级 : 有 些 日 志 消 息 自身 包含 了 某 种 优先 级 。 这 显然 是 供应 商 对 日 志 消息 优先 级 
的 评估 ,但 可 能 和 管理 员 的 实际 情况 不 相符 。 所 以 ,作为 归 一 化 工作 的 一 部 分 ,必须 理解 
特定 日 志 消 息 对 其 所 处 环境 的 影响 。 典 型 的 优先 级 是 低 、 中 、 高 。 

原始 日 志 : 作为 归 一 化 过 程 的 一 部 分 ,应 该 保留 原始 日 志 数 据 。 这 用 于 确保 归 一 化 
事件 的 有 效 性 。 另 一 个 用 例 是 日 志 留 存 , 可 以 将 保存 原始 日 志 作为 事件 归 一 化 的 一 部 分 ， 
或 者 将 其 保存 在 磁盘 上 ,提供 一 种 从 归 一 化 事件 中 * 取 回 ?原始 日 志 消 息 的 手段 。 

但 是 ,由 于 日 志 收 集 器 收集 的 日 志 来 自 于 整个 系统 中 的 各 个 不 同 的 设备 ,各 系统 间 的 
数据 库 在 体系 结构 ,数据 类 型 和 操作 方法 上 存在 异 构 , 需 要 进行 数据 转换 ,才能 实现 数据 
的 发 布 与 共享 。 目 前 异 构 数 据 源 间 数 据 转换 的 主要 方法 有 以 下 3 种 。 

(1) 基于 软件 工具 的 转换 方法 。 数 据 库 管理 系统 一 般 都 提供 将 外 部 文件 数据 转移 到 
本 身 数据 库 表 中 的 数据 装 和 工具 ,如 Oracle 提供 的 将 外 部 文本 文件 中 的 数据 转移 到 
Oracle 数据 库 表 的 数据 装 入 工具 SQL * Loader, 利 用 这 些 软件 工具 可 简单 .快速 地 实现 
数据 转换 。 但 这 种 数据 转换 程序 是 特定 的 、 专 用 的 ,要 求 目 的 数据 库 必须 是 转换 工具 对 应 
的 数据 库 , 且 多 用 手工 方式 进行 转换 ,数据 更 新 时 会 带 来 不 同步 的 问题 ,即使 人 工 定时 运 
行 转 换 程 序 , 也 只 能 达到 短期 同步 ,对 应 转换 的 数据 库 类 型 也 不 多 。 

(2) 基于 中 间 数 据 库 的 转换 方法 。 在 两 个 具体 的 数据 库 之 间 转 换 时 ,依据 关系 定义 ， 
从 源 数据 库 中 读 出 数据 ,通过 中 间 数 据 库 写 入 目的 数据 库 中 。 这 种 方法 所 需 的 转换 模块 
少 , 且 扩展 性 较 强 ,实现 过 程 复杂 ,转换 时 需要 大 量 的 空间 。 

(3) 基于 数据 库 组 件 的 转换 方法 。 利 用 Delphi 等 数据 库 应 用 程序 开发 技术 ,通过 源 
数据 库 与 目的 数据 库 组 件 存 取 数 据 信息 ,实现 直接 转换 。 但 若 源 数据 库 与 目的 数据 库 对 
应 的 数据 类 型 不 相同 ,必须 先进 行 类 型 的 转化 ,然后 双方 才能 实施 赋值 。 

上 面 讲述 了 数据 转换 的 几 种 方法 。 数 据 转换 的 主要 内 容 有 如 下 5 个 方面 。 

1) 简单 变换 

简单 变换 主要 是 指数 据 类 型 转换 ,转换 源 数据 库 表 中 的 某 些 字段 类 型 .长 度 以 及 
NULL 约束 。 这 类 变换 通常 不 用 改变 数据 源 中 的 数据 值 。 这 类 变换 的 实现 比较 简单 ,可 
以 与 数据 加 载 到 数据 仓库 的 过 程 同 时 进行 ,而 无 须 单 独 进行 操作 。 其 关键 在 于 对 目的 数 
据 仓 库 的 表 的 结构 的 定义 。 
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2) 日 期 \ 时 间 格 式 的 转换 

因为 大 多 数 业务 环境 都 有 许多 不 同 的 日 期 和 时 间 类 型 ,所 以 几乎 所 有 数据 转换 的 实 
现 都 必须 将 日 期 和 时 间 变 换 成 数据 定义 的 规范 格式 。 

3) 由 编码 到 名 称 的 转换 

业务 数据 库 中 为 了 节省 数据 库存 储 空 间 ,常常 使 用 数据 库 使 用 者 都 熟悉 的 编码 代替 
复杂 的 表示 方式 。 有 时 在 不 同 的 业务 环境 中 ,使 用 的 编码 可 能 不 一 致 。 因 此 ,为 了 使 转换 
后 的 数据 能 够 被 大 多 数 用 户 理解 ,同时 为 了 决策 分 析 的 需要 ,转换 后 的 数据 一 般 不 以 编码 
方式 存放 。 在 数据 转换 之 前 ,根据 编码 从 代码 表 中 查 到 对 应 的 文字 描述 (名 称 ) ,使 用 该 文 
字 描 述 代 替 编 码 。 例 如 ,业务 数据 库 中 最 常见 的 编码 就 是 性 别 编码 ,用 “T” 或 逻辑 常量 
“.T. "表示 男 , 用 “F” 或 逻辑 常量 “. F. ”表示 女 , 这 样 的 表示 在 数据 转换 中 应 尽量 避免 ,可 
统一 使 用 人 们 易于 理解 的 * 男 "和 “ 女 ” 表 示 。 

4) 字段 值 合并 

将 元 数据 库 中 的 多 个 字段 值 合并 成 一 个 字段 的 值 加 载 到 数据 仓库 中 ,该 类 操作 主要 
针对 文本 类 型 字段 。 

5) 字段 值 拆 分 

字段 值 拆 分 是 合并 字段 的 逆 过 程 。 将 元 数据 库 中 的 一 个 字段 值 拆 分 成 多 个 字段 的 值 
进行 转换 。 因 为 数据 经 常 需要 按 地 区 维 \ 时 间 维 进行 统计 分 析 。 

数据 归并 将 多 个 数据 源 中 的 数据 结合 起 来 存放 在 一 个 一 致 的 数据 存储 中 。 归 并 数据 
时 ,需要 考虑 如 下 问题 。 

(1) 模式 归并 : 来 自 多 个 信息 源 的 现实 世界 的 实体 如 何 才能 “匹配 ”, 这 涉及 实体 识 
别 问题 。 例 如 ,数据 分 析 者 或 计算 机 如 何 才能 确信 一 个 数据 库 中 的 customer_id 和 男 一 
个 数据 库 中 的 cust_number 指 的 是 同一 个 实体 。 通 
常 ,数据 库 有 元 数据 (关于 数据 的 数据 )。 这 种 元 数据 
可 以 帮助 避免 模式 集成 中 的 错误 。 

(2) 宛 余 : 如 果 一 个 属性 能 由 另 一 个 表 导 出 , 那 
么 它 就 是 宛 余 的 。 属 性 或 维 命名 的 不 一 致 可 能 导致 
数据 集中 的 宛 余 ,可 以 用 相关 分 析 检测 。 

(3) 数据 值 冲突 的 检测 与 处 理 : 对 于 现实 世界 的 
同一 实体 ,由 于 各 自 表示 、 比 例 或 编码 不 同 ,导致 这 些 
来 自 不 同 数据 源 的 属性 值 也 可 能 不 同 。 将 多 个 数据 
源 中 的 数据 集成 起 来 ,能 够 减少 或 避免 结果 数据 集中 
数据 的 元 余 和 不 一 致 性 。 

综 上 所 述 ,日志 归 一 化 从 原始 日 志 池 或 者 磁盘 组 


磁盘 缓存 


选取 规则 ， 进 
行 日 志 匹 配 


丰 一 
存 文件 中 读 取 原始 日 志 , 首 先进 行 数据 转换 和 数据 归 了 
并 ,通过 解析 原始 日 志 的 特殊 字段 ,得 到 不 同 的 原始 存储 

日 志 来 源 ,选择 相应 的 规则 文件 ,对 原始 日 志 进 行 归 

一 化 的 任务 ,其 具体 流程 如 图 3-3 所 示 。 


如 图 3-3 所 示 , 归 一 化 模块 不 停 地 从 原始 日 志 池 图 3-3 归 一 化 流程 图 
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中 获取 原始 日 志 , 并 将 其 构造 成 日 志 归 一 化 任务 , 交 由 多 线程 执行 器 异步 执行 。 如 果 原 始 
日 志 池 中 已 没有 原始 日 志 , 则 调度 器 将 尝试 从 磁盘 上 的 缓存 目录 中 获取 先前 保存 下 来 的 
任务 ,然后 交 由 多 线程 执行 器 执行 。 而 后 ,从 多 个 格式 的 规则 配置 文件 中 取得 信息 并 将 
其 赋 给 规则 对 象 类 ,构造 规则 池 。 从 规则 池 中 读 取 一 条 规则 ,用 该 规则 的 正则 模式 匹 
配 原始 日 志 。 如 果 匹 配 ,就 用 该 规则 对 该 原始 日 志 进 行 归 一 化 。 如 果 不 匹 配 , 则 取 下 
一 条 规则 进行 尝试 。 在 对 原始 日 志 进 行 归 一 化 时 ,首先 依据 归 一 化 规则 产生 一 条 临时 
日 志 , 然 后 再 根据 临时 日 志 产 生 一 条 归 一 化 日 志 , 放 入 归 一 化 日 志 池 中 并 进行 存储 ,从 
而 实现 整个 系统 日 志 的 归 一 化 。 

针对 日 志 的 归 一 化 预 处 理 , 当前 主要 采用 可 扩展 标识 语言 (Extensive Markup 
Language,，XML) 规 则 对 原始 日 志 进 行 重新 构造 ,产生 新 的 XML 格式 日 志 , 进 一 步 转化 
为 二 进 制 的 XML 格式 日 志 , 不 仅 提 高 了 审计 效率 ,更 减少 了 日 志 的 存储 容量 。 下 面 对 
XML 格式 作 简 要 介绍 。 

XML 是 一 种 新 的 Internet 异 构 环境 中 的 数据 交换 标准 , 它 与 使 用 HTML 标签 描述 
外 观 和 数据 不 同 。XML 严格 地 定义 了 可 移植 的 结构 化 数据 ,其 应 用 范围 从 最 早 的 Web 
信息 描述 ,到 现在 成 为 开放 环境 下 描述 数据 的 开放 标准 ,具有 自 描述 性 、 可 扩展 性 、 层 次 
性 、 异 构 系 统 间 的 信息 互通 性 等 特征 。 它 能 够 使 各 种 不 同 来 源 的 结构 化 数据 很 容易 地 结 
合 在 一 起 ,并 以 统一 的 格式 表示 各 种 数据 源 , 从 而 实现 各 种 数据 的 集成 管理 。XML 规则 
定义 数据 文件 中 数据 字段 的 格式 和 结构 ,并 将 这 些 数据 字段 映射 到 单个 目标 表 中 的 相 
应 列 。 

XML 的 基本 格式 如 下 。 


<record> 
<field…/> […n] 

< /record> 

每 个 一 field 元 素 都 说 明了 特定 数据 字段 的 内 容 。 一 个 字段 只 能 映射 到 表 中 的 一 
列 ,并 不 是 所 有 字段 都 需要 映射 到 列 。 数 据 文件 中 字段 的 长 度 可 以 是 固定 的 或 可 变 的 ,也 
可 以 由 字符 结尾 “字段 值 " 可 以 表示 为 字符 (使 用 单字 节 表 示 形 式 )、 宽 字符 (使 用 
Unicode 双 字 节 表 示 形 式 )\ 本 机 数据 库 格式 或 文件 名 。 

XML 在 数据 描述 方面 十 分 灵活 ,扩展 性 强 , 而 且 具 有 良好 的 结构 和 约束 机 制 , 数 据 
经 过 处 理 之 后 表达 方式 简单 . 易 读 ,同时 也 易于 由 其 他 应 用 进行 进一步 的 加 工 和 处 理 。 正 
是 由 于 XML 具有 上 述 特点 ,所 以 它 正 逐步 成 为 在 因特网 环境 中 进行 数据 交换 的 标准 和 
中 间 介 质 。XML 的 文件 以 树 状 方式 存储 ,同时 里 面 的 元 素 都 有 各 自 的 属性 ,具有 面向 对 
象 的 特性 。 

XML 的 重要 术语 有 以 下 7 种 。 

Oz 样式 表 (eXtensible Stylesheet Language ,XSL): 描述 XML 的 元 数据 文件 格式 的 
语言 。 
@ 样式 表 转 换 (eXtensible Stylesheet Language Transformation , XSLT): 负责 将 

XML 的 源 代码 转换 为 另 一 种 格式 。 
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图 文档 类 型 定义 (Document Type Definition,DTD): 对 XML 文件 进行 格式 上 的 定 
义 和 规 范 。 用 DTD 确定 为 正确 的 XML 文档 称 为 有 效 XML 。 

@ XML 组 织 结构 (XML Schema): 也 是 一 种 用 来 规范 XML 文档 的 组 织 结构 ,与 
DTD 具有 异曲同工 的 作用 ,由 于 有 其 自身 的 优越 性 ,所 以 有 取代 DTD 的 趋势 。 

@ XLink: XML 中 的 链接 语言 。 

@ 文档 对 象 模型 (Document Object Model, DOM): 在 应 用 程序 中 ,基于 DOM 的 
XML 分 析 器 将 一 个 XML 文档 转换 成 一 个 对 象 模型 的 集合 (通常 称 DOM 树 ) 。 

@ SAX(Simple APIs for XML): XML 简单 应 用 程序 接口 。 

其 中 ,DTD(XML Schema) .XSL 和 XLink 为 XML 的 三 要 素 。 

为 了 确保 XML 文档 具有 较 强 的 易 读 性 、 易 检索 性 和 清晰 的 语义 ,XML 文档 必须 有 
严格 的 形式 规范 ,以 适应 各 种 具体 的 应 用 。 首 先 ,XML 文档 必须 符合 XML 语法 限制 , 术 
语 称 为 “well-formed XML”; 其 次 ,为 了 使 XML 表示 的 数据 有 一 定 的 含义 ,还 需要 根据 应 
用 为 其 定义 语义 上 的 限制 ,术语 称 为 “validating XML”。“well-formed XML 是 容易 验证 
的 ,而 “validating XML 还 需要 另 一 个 关联 的 文档 定义 XML 标记 规范 。XML 文档 定义 
主要 有 DTD 与 Schema 两 种 。 下 面 以 一 个 简单 的 例子 描述 这 两 种 结构 的 区 别 。 

例如 ,一 个 简单 的 XML 文档 如 下 。 


壹 日志 
一 日 期 之 2010. 9.5 
二 事件 描述 之 HTTP 访问 404 错误 


如 果 用 DTD 的 形式 定义 该 XML 文档 结构 , 则 可 以 如 下 所 示 。 


二 IELEMENT 日 志 (2010.9.5,HTTP 访问 404 错误 ) 之 
二 !IELEMENT 日 期 (#PCDATA) 二 
过 !ELEMENT 事件 描述 (#PCDATA) 二 


如 果 用 schema 形式 定义 , 则 格式 如 下 。 


<element name= ' 日 志 ' type= ' 日 志 类 型 '/> 
<complexType name= ' 日 志 类 型 '/> 

<element name= ' 日 期 ' type= 'date'/> 
<element name= ' 事 件 描述 ' type= 'string'/> 


</complexType> 


XMLDTD 是 近 几 年 来 XML 技术 领域 使 用 的 最 广泛 的 一 种 模式 。 但 是 ,由 于 XML 
DTD 并 不 能 完全 满足 XML 自动 化 处 理 的 要 求 , 例 如 不 能 很 好 地 实现 应 用 程序 不 同 模块 
间 的 相互 协调 ,缺乏 对 文档 结构 属性、 数据 类 型 等 约束 的 足够 描述 等 ,所 以 W3C 于 2001 
年 5 月 正式 推荐 XML Schema 为 XML 的 标准 模式 。 与 DTD 文档 相 比 ,Schema 文档 具 
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有 以 下 优点 。 

Q@ XML 用 户 在 使 用 XML Schema 的 时 候 , 不 需要 为 了 理解 XML Schema 而 重新 学 
习 , 节 省 了 时 间 。 

@ 由 于 XML Schema 本 身 也 是 一 种 XML, 所 以 许多 的 XML 编辑 工具 、API 开发 
包 、XML 语法 分 析 器 可 以 直接 应 用 到 XML Schema, 而 不 需要 修改 。 

@ 作为 XML 的 一 个 应 用 ,XML Schema 理所当然 地 继承 了 XML 的 自 描述 性 和 可 
扩展 性 ,这 使 得 XML Schema 更 具有 可 读 性 和 灵活 性 。 

@ 由 于 格式 完全 与 XML 一 样 ,XML Schema 除了 可 以 像 XML 一 样 处 理 外 ,也 可 以 
同 它 所 描述 的 XML 文档 以 同样 的 方式 存储 在 一 起 ,方便 管理 。 

@ XML Schema 与 XML 格式 的 一 致 性 ,使 得 以 XML 为 数据 交换 的 应 用 系统 之 间 
也 可 以 方便 地 进行 模式 交换 。 

@ XML 有 非常 高 的 合法 性 要 求 ,XML DTD 对 XML 的 描述 往往 也 被 用 作 验 证 
XML 合法 性 的 一 个 基础 ,但 是 XML DTD 本 身 的 合法 性 却 缺 少 较 好 的 验证 机 制 ,必须 独 
立 处 理 。XML Schema 则 不 同 , 它 与 XML 有 同样 的 合法 性 验证 机 制 。 

在 Schema 的 帮助 下 ,可 以 从 关系 数据 库 或 对 象 数据 库 中 移出 数据 或 把 数据 送 往 目 
标 数据 库 。 甚 至 可 以 用 适当 的 Schema 利用 XML 作为 中 间 格 式 转换 不 同 的 数据 格式 。 
利用 Schema 的 这 个 特点 ,可 以 实现 各 种 基于 XML 的 数据 传输 应 用 。 

在 日 志 审 计 系统 中 ,日 志 收集 中 心 收集 到 的 日 志 数据 包含 多 种 形式 ,对 于 数据 挖掘 
来 说 ,各 种 日 志 数 据 格式 的 整理 显然 会 耗费 很 多 时 间 。 把 日 志 数据 转换 为 格式 存储 将 
大 大 减 小 数据 挖掘 的 复杂 性 ,以 方便 后 续 程 序 的 分 析 与 处 理 , 提 高 审计 效率 。XML 作 
为 一 种 元 标记 语言 ,还 有 一 个 突出 的 优点 是 允许 程序 开发 人 员 根 据 不 同日 志 的 格式 特 
点 ,灵活 动态 制定 相应 的 规则 ,生成 不 同日 志 的 格式 规则 ,而 不 用 重新 设计 。 所 以 , 实 
现 对 多 源 异 构 日 志 数 据 的 归 一 化 主要 使 用 基于 XML 的 数据 转换 技术 。 其 转换 流程 图 
如 图 3-4 所 示 。 

如 图 3-4 所 示 , 对 多 源 异 构 日 志 数 据 进行 转换 分 为 设计 模块 和 实现 模块 两 部 分 。 

1) 数据 转换 设计 模块 

数据 转换 设计 模块 包括 设计 XML 文档 格式 、 生 成 Schema 文件 .利用 XMLBean 将 
Schema 中 的 元 素 生 成 Java 类 3 个 部 分 。 

(1) 设计 XML 文档 格式 。 多 源 异 构 日 志 具 有 数据 种 类 不 一 致 .数据 类 型 不 统一 的 特 
点 。 对 多 源 异 构 日 志 进 行 数据 归并 ,首先 需要 进行 数据 转换 ,将 多 源 异 构 日 志 数 据 转换 成 
数据 种 类 一 致 , 数 据 类 型 统一 的 XML 文档 。 在 设计 XML 文档 格式 时 ,需要 按照 各 个 日 
志 数 据 之 间 的 逻辑 关系 分 层次 . 按 结构 设计 。 

(2) 生成 Schema 文件 。 根据 XML 文档 格式 ,利用 XML Schema 设计 工具 生成 
Schema 文件 。Schema 文件 是 按照 SAIM-Message 中 的 元 素 层次 结构 组 织 的 。 首 先是 对 
顶级 元 素 SAIM-Message 进行 描述 ,包括 该 元 素 功 能 性 描述 、 元 素 属性 描述 、 子 元 素 概要 
描述 。 接 着 对 SAIM-Message 的 子 元 素 Alert、Heartbeat、Monitor、RespQuery 按 类 似 方 
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3-4 多 源 异 构 日 志 数据 转换 流程 图 


法 分 别 逐 层 展开 描述 。 其 中 ,Alert、Heartbeat 元 素 基 本 与 IDMEF 中 的 对 应 元 素 相同 ， 
只 是 根据 多 源 日 志 模 型 的 自身 需要 在 某 些 地 方略 作 改 动 。 元 素 功 能 性 描述 是 对 该 元 素 的 
功能 进行 简要 描述 。 元 素 属性 描述 是 对 该 元 素 属性 的 出 现 与 否 、 数 据 类 型 .含义 进行 简要 
描述 。 子 元 素 概要 描述 是 对 子 元 素 的 出 现 次 数 、 含 义 进行 简要 描述 。 

属性 和 元 素 出 现 次 数 使 用 如 下 标记 。 

{0. .1} 表 示 出 现 零 次 或 一 次 , 即 表示 可 有 可 无 。 

{0. . # } 表 示 出 现 零 次 或 多 次 ,如 果 是 多 次 ,每 次 的 取 值 可 以 不 一 样 。 

{1.. 1) 表示 出 现 且 仅 出 现 一 次 。 

{1..%*) 表 示 出 现 一 次 或 多 次 ,如 果 是 多 次 ,每 次 的 取 值 可 以 不 一 样 。 

(3) 利用 XMLBean 将 Schema 中 的 元 素 生成 Java 类 。XMLBean 是 一 种 可 以 将 
Schema 文件 映射 成 Java 类 库 的 工具 。XMLBean 拥有 可 执行 规范 的 能 力 。 它 提供 在 架 
构 和 Java 类 型 间 的 自动 映射 。 对 开发 者 来 说 ,这 意味 着 设计 不 需要 转化 成 Java 的 实现 。 
数据 模型 或 对 象 的 设计 完全 可 以 在 架构 规范 中 完成 : XMLBean 自动 把 架构 类 型 和 它们 
之 间 的 关系 转换 成 Java 对 象 及 其 关系 。 当 Java 应 用 程序 接收 到 遵守 给 定 架 构 的 XML 
文档 时 ,XMLBean 创建 相应 的 Java 实例 。 实 例 是 直接 在 底层 文档 上 创建 的 ,因而 原文 档 
不 会 有 任何 损失 。 当 Java 实例 被 修改 ,XMLBean 修改 文档 以 保持 二 者 的 同步 。 因 此 ， 
Java 对 象 和 XML 文档 是 相同 的 。 

XMLBean 用 面向 对 象 的 观点 对 待 和 处 理 XML 数据 ,同时 又 忠实 于 该 XML 数据 对 

33 


日 志 审 计 与 分 析 sy 


应 的 XML 结构 和 Schema。Hibernate 已 经 成 为 目前 流行 的 面向 Java 环境 的 对 象 /关系 
数据 库 映 射 工具 。 在 Hibernate 等 对 象 /关系 数据 库 映射 工具 出 现 前 ,对 数据 库 的 操作 是 
通过 JDBC 实现 的 。 对 数据 库 的 任何 操作 ,开发 人 员 都 要 自己 写 SQL 语句 实现 。 对 象 / 
关系 数据 库 映射 工具 出 现 后 ,对 数据 库 的 操作 转 成 对 JavaBean 的 操作 , 极 大 方便 了 数据 
库 开 发 。XMLBean 就 是 一 个 类 似 的 工具 能 够 实现 将 对 XML 的 读 写 转 成 对 JavaBean 的 
操作 。 将 关系 模式 中 的 字段 映射 为 XML 数据 中 的 简单 元 素 、 元 素 的 属性 ; 表 与 表 的 关联 
映射 为 XML 数据 中 的 元 素 之 间 的 相互 关系 (Java 的 类 中 ) ;数据 映射 为 面向 对 象 模 型 的 
类 对 象 。 

XMLBean 是 真正 的 下 一 代 Java 数据 对 象 。 通 过 高 性 能 .开放 源 代 码 的 实现 ,克服 了 
将 XML 和 Java 一 起 使 用 的 困难 。 此 外 : 它 提 供 了 有 效 性 检验 和 可 执行 规范 的 功能 。 通 
过 保持 XML 文档 和 Java 对 象 的 同步 ,XMLBean 提供 了 面向 服务 开发 所 需 的 Java 和 
XML 的 结合 。 

2) 数据 转换 实现 模块 

该 模块 将 XMLBean 转换 出 的 Java 类 库 文件 导入 Java 中 ,在 Java 环境 下 编程 操作 
Schema 中 的 数据 。 

(1) 用 XMLBean 读 取 XML 文件 。 要 读 取 某 一 个 符合 transfer. xsd 的 XML 文件 ， 
可 使 用 如 下 语句 : MyFriendsDocument fldoc: MyFriendsDocument. Factory. parse 
《xmlFile) ,其 中 , MyFriendsDocument 是 XMLBean 自动 生成 的 类 , 它 代 表 这 个 XML 
文档 。 

(2) 用 XMLBean 生成 XML 文件 。 用 XMLBean 生成 的 XML 文档 都 符合 特定 的 
Schema, 可 以 使 用 下 面 的 语句 生成 某 一 个 文档 。 首 先 利 用 工厂 类 生成 一 个 新 的 XML 文 
档 对 象 MyFriendsDocument mfdoc: MyFriendsDocument. Factory. newJnstance() ;这 个 
mfdoc 对 象 代表 了 一 个 空白 的 XML 文档 ,然后 需要 增加 新 的 根 元 素 ,之 后 增加 节点 , 设 
置 节点 的 值 和 属性 。 

通过 XMLBean 和 Java 的 结合 ,可 以 轻松 读 写 XML 文件 ,实现 对 多 源 异 构 日 志 的 数 
据 转 换 。 


3.3.2” 归 一 化 的 效果 


日 志 数 据 源 种 类 的 多 样 性 使 得 每 种 日 志 的 格式 、 含 义 和 特 征 等 不 尽 相同 ,因此 每 种 日 
志 数 据 源 要 采用 相应 的 解析 方法 ,就 需要 了 解 每 种 日 志 的 含义 和 特性 ,制定 相应 的 规 
则 库 。 

以 下 是 一 些 事件 归 一 化 的 示例 。 


1. IP 地 址 验证 
发 现 IP 地 址 往往 很 重要 ,通常 通过 如 下 表达 式 实现 。 


\d 十 \d. \d 十 \. Xd 十 \. \d 十 
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可 以 看 出 ,该 正则 表达 式 能 够 捕获 IP 地 址 (如 10. 0. 3. 1) ,但 是 也 会 捕获 到 无 效 的 
IP 地 址 (如 300. 500. 27. 900) 。 提 出 一 个 匹配 IP 地 址 的 正则 表达 式 的 关键 是 不 仅 要 检测 
到 4 个 用 句点 隔 开 的 数字 ,还 要 确保 每 个 八进制 数 在 正确 的 范围 内 。 下 面 的 正则 表达 式 
将 验证 IP 地 址 。 


(Lo01J?\d\d?|2[0-4]\d|25[0-5])\. (LO1J?\d\d?|2[0-4]\d|25[0-5])\. 
(Lo1J?\d\d?|2[0-4]\dl25[0-5D\. (Lo1J?\d\d?|2[0-4]\d|25[0-5]) $ 


但 是 ,这 个 表达 式 将 会 检测 IP 地 址 0. 0. 0. 0, 某 些 网 络 类 型 会 认为 它 是 无 效 的 。 某 
些 安全 系统 将 伪造 IP 地 址 报告 为 0. 0. 0. 0, 所 以 检测 这 个 IP 在 某 些 情况 下 是 有 效 的 。 


2. 正则 表达 式 

设计 正则 表达 式 时 除了 需要 针对 不 同 的 消息 设计 不 同 的 正则 表达 式 进行 解析 外 ,在 
设计 正则 表达 式 的 时 候 还 需要 考虑 正则 表达 式 的 性 能 因素 。 

因为 正则 表达 式 基 于 计算 机 科学 中 的 非 确 定性 有 限 自动 机 (Non-deterministic Finite 
Automata, NFA) 的 概念 ,所 以 它 可 能 会 影响 当前 执行 任务 的 性 能 。 例 如 ,如 果 和 希望 从 许 
多 正在 规范 化 的 日 志 消 息 中 提取 一 个 子 串 , 可 以 编写 一 个 正则 表达 式 提 取 所 需要 的 文本 ， 
常见 的 情况 是 知道 字符 串 出 现在 消息 的 哪个 位 置 但 是 又 不 完全 确定 ,使 用 正则 表达 式 就 
很 有 用 。 具 体 示 例 可 以 参考 以 下 Perl 脚本 。 


#/usr/bin/perl 
my $text="I would like to get the following IP address: 10.0.0.2"7 
for(my $a=0; $a<100000; $a++) 
{ 
my ($IP)=$text=~m/: (.*)$/; 
} 


在 知道 IP 地 址 出 现在 冒号 之 后 ,可 以 编写 一 个 正则 表达 式 ,捕获 冒号 后 的 所 有 字符 。 
因为 正则 表达 式 两 边 是 圆 括号 ,Perl 将 在 数组 中 返回 它 所 匹配 的 项 (如 果 有 ) ,这 也 就 是 运 
行 脚本 时 使 用 “my( $ IP) 二 .….” 的 原因 ,下 面 是 上 述 脚 本 对 应 的 输出 结果 。 


$time ./regex.pl 
real 0m0.727s 
user 0m0.724s 
sys 0m0.003s 


执行 这 个 正则 表达 式 100 万 次 花费 的 时 间 (0. 727s) 低 于 1s, 说 明 这 个 程序 的 性 能 较 

好 ,但 是 还 有 一 种 方法 可 以 获得 更 好 的 性 能 , 且 完 全 不 用 涉及 任何 正则 表达 式 。Perl 有 一 

个 substrO 〇 函数 ,可 以 指定 偏 移 位 置 ,从 文本 字符 串 中 返回 子 串 。 根 据 这 种 思路 ,可 以 得 
到 以 下 修改 后 的 脚本 。 
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#!/usr/bin/perl 
my $text="I would like to get the following IP address: 10.0.0.2" 
for (my $a=0; $a<100000; $a++) 
{ 
$IP=substr $text. 46; 
} 


已 知 IP 地 址 在 偏 移 位 置 46 ,所 以 现在 使 用 substr() ,运行 时 ,得 到 如 下 结果 。 


$time ./substr.pl 
real 0m0.103s 
user 0m0.100s 

sys 0m0.003s 


运行 时 间 (0. 103s) 比 正则 表达 式 好 得 多 ,这 是 因为 substr() 直接 到 达 我 们 所 需 的 位 
置 。 它 没有 必要 搜索 字符 串 进行 模式 匹配 。 使 用 substr() 只 适合 于 要 提取 的 数据 总 是 出 
现在 字符 串 中 同样 偏 移 位 置 的 情况 ,但 是 在 实际 处 理 中 ,供应 商 可 能 使 用 许多 不 同 的 事件 
格式 ,IP 地 址 和 端口 等 内 容 往往 出 现在 消息 的 不 同位 置 。 


思 考题 


1. 简 述 事件 过 滤 的 作用 。 
2. 了 解 事件 归 一 化 的 原因 。 
3. 简 述 事件 归 一 化 使 用 的 方法 。 
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41 概述 


不 同 信息 源 的 日 志 信 息 经 过 收集 、 归 一 化 处 理 步 又 之 后 ,需要 对 日 志 信 息 进行 合理 存 
储 。 日 志 的 存储 是 进行 日 志 审 计 分 析 的 基础 。 目 前 一 些 中 小 型 企业 留存 的 日 志 记 录 已 经 
增长 到 TB 级 别 ,甚至 是 PB 级 别 , 面 对 大 数量 级 的 日 志 数 据 , 日 志 的 存储 策略 和 存储 方式 
对 后 续 日 志 的 分 析 有 着 重要 的 影响 。 本 章 主要 介绍 日 志 的 存储 策略 以 及 日 志 数据 的 常用 
存储 方式 ,如 在 线 存 储 、` 近 线 存储 和 离线 存储 。 通 过 本 章 的 学 习 , 达 到 了 解 日 志 存储 方面 
的 知识 和 相关 技术 的 目标 。 


4.2 日 志 存 储 策略 


日 志 数据 主要 根据 数据 的 存储 格式 日志 数据 所 需 存储 空间 .日 志 数据 检索 速度 、 存 
储 所 需 成 本 等 需求 策略 进行 存储 。 本 节 首 先 介绍 日 志 数据 的 存储 格式 ,主要 有 基于 文本 
的 日 志文 件 存储 二 进 制 文件 存储 以 及 压缩 文件 的 存储 。 接 着 介绍 综合 存储 日 志 所 需 的 
空间 的 大 小 和 检索 速度 ,可 分 为 本 地 数据 库存 储 和 以 Hadoop 存储 为 代表 的 分 布 式 存储 
策略 。 


4.2.1 日 志 存 储 格式 


网 络 设备 .应 用 程序 以 及 操作 系统 会 产生 多 种 不 同 的 日 志 格 式 , 在 许多 情况 下 ,日志 
通常 会 被 存储 为 基于 文本 、 二 进 制 或 者 压缩 文件 的 格式 。 不 同 的 存储 格式 采用 的 存储 策 
略 也 不 相同 。 

基于 文本 的 日 志 记录 是 目前 最 丰富 的 日 志 类 型 ,具有 成 本 低 、. 易 于 生成 的 优势 。 具 体 
优点 如 下 。 

。 应 用 程序 写 入 基于 文本 的 日 志文 件 ,从 CPU 以 及 1/O 资源 来 说 代价 很 低 。 

。 文 本 格式 是 典型 的 便于 人 们 理解 、 可 读 的 格式 ,可 用 常规 文本 工具 (如 grep 和 

awk 都 是 各 种 UNIX/Linux 操作 系统 变种 的 固有 工具 ) 处 理 和 查阅 。 

。 许 多 常见 的 基于 文本 的 日 志 格 式 已 经 存在 ,如 Syslog, 使 得 运营 和 安全 团队 易于 

使 用 一 种 通用 方法 解析 日 志 , 构 造 一 个 更 完善 的 日 志 管 理 系 统 。 
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基于 二 进 制 日 志文 件 是 应 用 程序 生成 的 机 器 可 读 的 日 志文 件 ,需要 专 有 的 工具 或 者 
程序 阅读 处 理 它们 。 在 各 种 环境 中 较 常 见 的 二 进 制 日 志文 件 包 括 Windows 事件 日 志和 
Microsoft Internet 信息 服务 日 志 。 另 外 ,在 使 用 大 型 主机 或 定制 应 用 程序 的 诸多 环境 
下 ,日 志文 件 也 可 能 编码 为 二 进 制 或 机 器 特定 格式 ,如 广义 二 进 制 编 码 的 十 进 制 交换 码 ， 
在 Intel 和 PC 硬件 平台 需要 工具 去 解码 和 阅读 。 二 进 制 日 志文 件 的 长 期 存储 会 给 使 用 
者 带 来 诸多 挑战 ,在 存储 和 留存 二 进 制 日 志文 件 的 原生 格式 前 需要 考虑 如 下 问题 。 

。 未 来 5 年 甚至 10 年 后 阅读 二 进 制 日 志 所 使 用 工具 的 可 用 性 。 从 现在 开始 的 10 

年 内 ,保留 一 台 专 用 读 取 二 进 制 日 志 的 服务 器 ,并 进行 取证 分 析 , 几 乎 是 不 可 
能 的 。 
二 进 制 日 志文 件 在 磁盘 空间 利用 上 非常 高 效 ,但 是 无 法 进行 很 大 的 压缩 。 二 进 制 
日 志文 件 经 过 压缩 之 后 的 大 小 大 约 是 原文 件 的 90%。 相 比 之 下 ,基于 文本 的 文 
件 压缩 后 仅 占 原文 件 的 10%% 左 右 。 与 文本 文件 日 志 记录 相 比 , 二 进 制 文件 所 需 
的 存储 空间 比较 大 。 

大 部 分 生成 日 志 的 系统 一 般 会 在 日 志 增长 到 指定 大 小 时 ,在 一 个 周期 内 形成 一 个 新 
的 日 志文 件 。 之 前 的 日 志文 件 通 常会 重 命名 ,并 以 未 压缩 格式 存档 于 系统 硬盘 中 ,以 便 使 
其 易于 访问 和 查询 。 基 于 压缩 文件 的 存储 格式 会 对 每 个 周期 的 日 志文 件 进行 压缩 ,压缩 
成 一 个 新 的 日 志文 件 ,这 样 可 以 使 得 日 志 所 占 的 磁盘 空间 越 来 越 小 ,从 而 节约 宝贵 的 存储 
空间 。 在 系统 中 压缩 日 志文 件 就 是 解决 这 种 需求 并 节省 宝贵 磁盘 空间 的 一 种 机 制 。 目 前 
在 UNIX/Linux 系统 中 有 许多 标准 工具 都 有 等 价 的 压缩 工具 集 , 如 tar 和 zip 格式 。 


4.2.2 关系 数据 库存 储 策略 


日 志 数据 是 由 网 络 系统 内 部 的 运行 程序 产生 的 ,记录 着 系统 运行 的 状况 是 否 正常 。 
记录 下 的 日 志 可 用 来 检查 系统 发 生 错误 的 原因 ,或 用 来 查找 当 受到 入 侵 时 人 侵 者 留 下 的 
线索 ,从 而 使 系统 能 正常 运行 。 目 前 许多 企业 将 日 志 写 人 关系 数据 库 中 ,对 需要 的 信息 进 
行 检索 .查询 和 备份 ,并 且 便于 日 志 审 核 过 程 中 可 视 化 工具 对 数据 的 调用 。 除 此 之 外 ,日 
志 数 据 还 可 以 实时 地 检测 系统 状态 .了 解 系统 运行 情况 ,挖掘 用 户 需要 的 统计 信息 ,如 网 
站 的 访问 量 、 最 受 欢 迎 的 网 站 、 网 站 地 区 访问 量 等 。 

然而 ,目前 日 志 分 析 研 究 多 集中 在 如 何 挖掘 数据 ,而 对 如 何 存储 海量 数据 的 研究 相对 
较 少 。 主 要 原因 在 于 很 多 日 志 分 析 系统 采用 了 关系 数据 库存 储 策略 ,如 商用 的 Oracle 数 
据 库 、 免 费 的 MySQL 数据 库 。 

关系 数据 库 是 建立 在 关系 数据 库 模 型 基础 上 的 数据 库 , 借 助 于 集合 代数 等 概念 和 方 
法 处 理 数据 库 中 的 数据 。 其 内 容 主 要 包括 : 

。 关系 的 数据 结构 : 单一 的 数据 结构 一 一 关系 ,也 就 是 说 现实 世界 的 实体 以 及 实体 

间 的 各 种 联系 均 用 关系 表示 ;数据 的 逻辑 结构 二 维 表 , 从 用 户 的 角度 看 ,关系 模型 
数据 逻辑 结构 为 一 张 二 维 表 。 

。 关系 操作 集合 : 查询 包括 选择 、 投 影 \ 除 .并 、 交 、 差 和 连接 ;数据 的 更 新 包括 插入 、 

删除 和 修改 。 其 中 的 查询 是 最 主要 的 部 分 。 
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。 关系 完整 性 约束 : 包括 实体 完整 性 ,由 关系 系统 自动 支持 ; @ 参 照 完 整 性 ,早期 
的 系统 不 支持 ,目前 大 型 的 系统 都 能 自动 支持 ; @ 用 户 定义 的 完整 性 ,反映 了 应 
用 领域 要 遵守 的 约束 条 件 , 体 现 了 具体 领域 中 的 语义 约束 ,用 户 定义 后 由 系统 
支持 。 

目前 主流 的 关系 数据 库 有 甲骨 文 的 Oracle、IBM 的 DB2 微软 的 SQLServer 以 及 免 
费 的 MySQL 等 。 

存储 日 志 到 数据 库 时 最 关键 的 问题 是 “存储 什么 ”。 当 使 用 关系 数据 库 作为 集中 存储 
以 及 上 日常 审核 分 析 时 ,应 该 保留 所 有 的 日 志 条 目 以 及 数据 库 的 日 志 字 段 。 对 于 不 通用 的 
二 进 制 或 应 用 程序 日 志 来 说 ,要 想 在 数据 库 中 维护 日 志 数 据 , 需 要 编写 自己 的 使 用 工具 、 
开发 自己 的 数据 库 模 式 。 良 好 的 分 析 以 及 尽量 保存 所 有 字段 ,能 避免 在 审核 系统 关键 漏 
洞 时 发 现 缺 少 分 析 所 需 的 关键 信息 。 

从 日 志 安 全 或 基础 设施 角度 来 说 ,网 络 安全 日 志 的 数据 量 太 过 庞大 、 腾 肿 。 在 这 种 情 
况 下 ,以 下 信息 通常 被 存 和 关系 数据 库 中 ,以 便 分 析 系 统 和 生成 报告 。 

(1) 头 信息 。 通 常 包 括 某 事件 发 生 的 时 间 戳 以 及 事件 涉及 的 IP 地 址 ,单独 存储 这 些 
信息 在 构建 信息 、 确 定 主机 虚报 ` 漏 报 以 及 系统 时 间 的 联系 时 非常 有 用 。 

(2) 消息 体 。 通 常 就 是 事件 的 消息 ,在 数据 库 中 存储 这 些 消息 主要 用 来 构建 实时 报 
警 系统 。 例 如 ,可 以 快速 查询 和 报告 频繁 出 现 登录 失败 时 消息 的 情况 。 

(3) 分 析 和 总 结 。 自 定义 脚本 和 工具 可 能 被 各 个 系统 使 用 ,以 确定 整体 事件 走向 并 
对 结果 进行 总 结 。 将 这 些 分 析 存 人 数据 库 可 以 简化 这 个 企业 或 者 系统 的 分 析 报告 ,并 在 
较 低 存储 能 力 的 数据 库 和 可 伸缩 性 需求 的 情况 下 ,简化 组 织 的 集中 审计 和 摘要 报告 。 

关系 数据 库 中 ,在 定义 了 存储 内 容 之 后 ,需要 进行 一 些 审核 和 分 析 , 对 数据 库 进行 优 
化 ,实现 相关 数据 库 的 快速 检索 。 需 要 定义 的 关键 之 一 就 是 在 日 常 审核 或 者 常用 查询 中 
被 使 用 到 的 数据 项 。 如 : 

。 优先 级 一 一 消息 的 重要 性 或 相对 重要 性 。 

。 日 期 和 时 间 一 一 表明 事件 什么 时 候 发 生 。 

。 主机 一 一 生成 这 个 事件 的 系统 。 

。 消息 一 一 事件 发 生 的 详细 信息 。 

关于 日 志 数 据 , 反 复 提 到 的 一 个 主题 就 是 存储 大 小 会 持续 增长 。 即 使 在 数据 库 中 构 
建 了 索引 和 查询 优化 ,但 在 数 万 亿 行 数据 项 中 搜索 依旧 会 变 得 缓慢 和 烦琐 。 许 多 数据 库 
系统 支持 分 区 ,分 区 允许 逻辑 上 的 单个 数据 表格 分 裂 成 较 小 的 多 个 区 块 。 在 日 志 数据 中 ， 
基于 日 期 和 时 间 对 数据 库 表 进行 分 区 是 一 个 符合 逻辑 的 做 法 。 

使 用 关系 数据 库 实现 日 志 存 储 的 主要 优点 是 数据 库 的 易 用 性 和 较 低 的 成 本 ,企业 可 
以 使 用 标准 的 SQL 语句 快速 搜索 和 检索 日 志 记 录 。 数 据 库 系统 具有 健全 的 用 户 访 问 和 
权限 系统 ,现在 有 许多 标准 工具 可 以 利用 SQL 语句 对 本 地 数据 库 进行 增 、 删 \ 改 、 查 等 操 
作 , 这 些 工具 可 以 使 用 编程 语言 作为 查询 日 志 数 据 的 工具 ,并 不 需要 使 用 特定 的 知识 和 权 
限 的 平台 。 许 多 编程 语言 内 建立 了 数据 库 处 理 的 支持 ,可 以 开发 用 于 日 志 数 据 实时 查看 
与 分 析 的 前 端 工 具 。 
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然而 ,将 日 志 数据 存 人 关系 数据 库 系 统 并 不 能 避免 本 身 的 一 些 问题 和 风险 。 使 用 关 
系数 据 库 作 为 主要 日 志 存储 的 缺点 是 : 从 日 志 安全 或 基础 设施 角度 来 说 ,数据 量 太 庞大 、 
太 爱 肿 。 从 数据 库 读 取 或 者 写 入 日 志 消 息 都 会 有 显著 的 开销 ,向 数据 库 中 写 数据 在 速度 
上 明显 比 写 入 本 地 磁盘 文本 文件 慢 , 主 要 是 因为 网 络 延 迟 、SQL 解析 、 索 引 更 新 以 及 向 磁 
盘 提 交 信息 时 造成 网 络 的 拥堵 。 使 用 数据 库存 储 日 志 对 磁盘 空间 需求 也 较 高 ,主要 是 因 
为 实现 快速 搜索 和 检索 需要 大 量 索引 文件 ,压缩 数据 的 选项 也 较为 有 限 。 数 据 库 系 统 在 
一 个 组 织 中 往往 有 多 种 用 途 , 因 此 需要 面临 数据 库 故 障 、 维 护 以 及 为 支持 日 志 记录 或 其 他 
内 部 系统 而 升级 时 的 数据 丢失 风险 。 当 根据 存储 策略 得 知 不 再 需要 的 日 志 时 ,数据 的 销 
毁 和 删除 也 存在 一 定 的 问题 。 目 前 常用 的 数据 库 有 Oracle、MySQL、SQL Server 等 , 当 
日 志 数据 巨大 时 ,数据 库 的 吞吐 速度 和 数据 的 读 取 变 得 非常 慢 , 这 就 需要 采用 分 布 式 存储 
方式 策略 。 


4.2.3” 键 值 数 据 库存 储 策略 


键 值 数据 库 起 源 于 1979 年 Ken Thompson 为 UNIX 开发 的 基于 hash 存储 的 数据 
库 , 并 得 到 BerkeleyDB 的 继承 和 发 展 。 随 着 Web 应 用 的 广泛 兴起 , 键 值 数据 库 正 显示 出 
强大 的 生命 力 。 目 前 ,巨型 搜索 引擎 Google 和 百度 、 著 名 网 上 零售 商 亚马逊 、 国 内 微 博 服 
务 商 新 浪 等 大 型 互联 网 服务 提供 者 的 核心 存储 都 采用 了 键 值 数据 库 。 键 值 数据 库 因 其 强 
大 的 伸缩 性 ,优异 的 查询 效率 和 较 好 的 空间 利用 率 而 备 受 云 计算 服务 商 青 睐 。 

键 值 数据 库 是 一 种 轻 量 级 的 数据 库 ,引领 下 一 代数 据 库 的 发 展 方向 , 即 非 关 系 、 分 布 
式 、 开 源 和 易 扩展 。 它 以 Key、Value 形式 保存 数据 ,去 除 关系 数据 库 中 的 数据 完整 性 约 
束 , 并 舍弃 表 的 概念 。Key 和 Value 可 以 是 任意 长 度 的 二 进 制 数据 ,都 可 看 成 是 字符 串 。 
图 4-1 说 明了 一 种 简单 的 键 值 数据 库 , 存 储 记 录 仅 由 一 个 键 和 一 个 值 组 成 。 如 果 Value 
由 多 个 域 组 成 , 则 可 以 存储 多 个 域 的 数据 库 。 


deh 


Key | 一 -一 Value Key | -~| Fieldl | valuel | Field2 | value2 | ; 


Key 一 | Value Key 上 一 | Fieldl [Varvel; Field2 | Value2 | 


Key | | : | 
Vane Key 广 一 | Fieldl |vanel Field2 | Value2 | 


Key | 一 -一 Value 


Key | | Field! [Value! | Field2 [Value2| ， 


Key | 一 -一 | Value 


Key =| Fieldl |vanel Field2 | value2 | ; 


图 4-1 键 值 数据 库 


键 值 数据 库 可 以 作为 单独 的 服务 器 运行 ,常见 的 是 以 谋 入 式 程序 的 方式 运行 ,在 后 台 
运行 ,提供 可 用 的 接口 给 应 用 程序 时 ,运行 在 宿主 程序 中 ,减少 了 程序 之 间 的 切换 ,提高 了 
运行 效率 。 键 值 数据 库 可 以 作为 一 个 分 布 式 数据 库 ,在 多 台 机 器 上 实现 数据 共享 和 备份 、 
负载 均衡 ,形成 一 个 具有 高 并 发 ,高 吞吐 的 数据 库 服 务 器 集群 。 
键 值 数 据 库 具 有 以 下 特点 。 
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无 数据 模式 。 键 值 数据 库 没 有 关系 数据 库 中 的 内 模式 .逻辑 模式 、 外 模式 等 概念 ， 
其 只 由 Key、Value 决定 ,是 在 程序 内 实现 。 
复制 相对 简单 。 由 于 其 容易 支持 分 布 式 ,所 以 在 网 络 上 的 数据 库 间 能 轻松 地 实现 


复制 备份 。 
。 接口 简单 。 键 值 数 据 库 提供 简单 的 接口 ,包括 基本 的 读 、 写 等 接口 函数 ,用 户 只 需 
要 调用 读 写 接 口 就 可 以 操纵 数据 库 。 
。 数据 最 终 一 致 性 。 键 值 数据 库 并 不 一 定 遵循 ACID 特性 ,但 能 保证 数据 库 最 终 是 
一 致 的 。 
键 值 数据 库 系统 的 总 体 架 构 如 图 4-2 所 示 。 
客户 端 
Master 水 | {me Slaver 
网 络 连接 层 网 络 连接 层 
1 1 i 
公共 服务 层 公共 服务 层 
i ff EE EE 
虚拟 存储 层 虚拟 存储 层 
二 同步 请 求 
存储 引擎 层 存储 引擎 层 


图 4-2 键 值 数 据 库 系 统 的 总 体 架构 


系统 总 体 分 为 4 层 , 分 别 为 网 络 连 接 层 、 公 共 服 务 层 、 虚 拟 存 储 层 、 存 储 引 擎 层 。 

(1) 网 络 连 接 层 ,负责 接受 客户 端 网 络 连接 ,响应 客户 网 络 请 求 , 并 提供 服务 ,专注 于 
处 理 网 络 连接 ,尤其 是 高 并 发 情况 下 系统 的 稳定 性 及 即时 响应 能 力 。 

(2) 公共 服务 层 , 主 要 负责 提供 系统 配置 处 理 功 能 、 缓 存 区 管理 功能 .通用 协议 处 理 
功能 ,命令 解析 功能 以 及 各 种 通用 组 件 等 ,这 些 组 件 为 网 络 连 接 层 与 系统 提供 服务 。 

(3) 虚拟 存储 层 , 主 要 对 底层 存储 引擎 功能 抽象 ,形成 一 个 简洁 、 可 扩展 、 可 统一 访问 
的 接口 , 即 提供 统一 的 数据 库 访问 接口 。 

(4) 存储 引擎 层 , 是 整个 系统 最 关键 的 一 部 分 ,主要 负责 实现 数据 存储 检索 功能 ,为 
数据 引擎 实现 ,考虑 到 系统 的 通用 性 ,该 层 将 采用 多 种 存储 引擎 实现 ,这 样 就 可 以 在 使 
用 时 从 多 种 存储 引擎 层 中 选择 最 合适 的 实现 系统 功能 ,使 得 系统 更 加 符合 客户 的 使 用 
需求 ,同时 ,为 了 增强 系统 的 可 靠 性 ,在 存储 引擎 层 可 配置 实现 主 备 复制 ,保证 整个 系 
统 的 可 靠 性 ,在 主 节点 损坏 时 自动 切换 到 备用 节点 为 客户 提供 服务 ,大 大 提高 系统 的 
可 靠 性 。 

键 值 数据 库 在 存储 和 处 理 海量 日 志方 面相 比 关系 数据 库 有 独特 的 优势 。 关 系数 据 库 
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存储 具有 丰富 的 完整 性 ,其 保证 了 实体 完整 性 参照 完整 性 和 用 户 定义 的 完整 性 ,大 大 降 
低 了 数据 元 余 和 数据 不 一 致 的 概率 ,但 是 ,为 了 维护 一 致 性 付出 的 代价 是 需要 降低 数据 的 
处 理 效率 ,同时 增加 处 理 日 志 数 据 的 复杂 性 。 由 于 日 志 数 据 大 多 数 基于 文本 文件 的 字符 
串 ,长 度 不 统一 ,关系 数据 库 要 求 数据 长 度 固 定 ,降低 了 关系 数据 库 的 空间 利用 率 ,而 键 值 
数据 库 不 需要 事先 规定 键 和 值 的 长 度 , 从 而 能 灵活 处 理 文 本 数据 。 处 理 日 志 数据 也 不 需 
要 类 型 约束 和 多 表 联 合 查询 , 键 值 省 掉 不 必要 的 操作 ,提高 了 数据 查询 的 效率 。 同 时 , 键 
值 数据 库 可 以 方便 灵活 地 构建 一 个 分 布 式 数据 库 , 实 现 服 务 器 客户 端的 复制 .分 布 式 查 
询 ,增强 数据 库 的 并 发 访问 能 力 。 另 外 , 键 值 数 据 库 可 以 根据 应 用 的 需要 将 编程 和 日 志 挖 
掘 程序 结合 起 来 ,提高 整个 系统 的 性 能 。 例 如 ,一 种 键 值 数 据 库 Tokyo Cabinet, 其 数据 库 
的 读 写 非常 快 , 哈 希 模式 写 入 100 万 条 数据 只 需 0. 643s, 读 取 100 万 条 数据 只 需 0. 773s， 
是 BerkeleyDB 等 数据 库 的 好 几 倍 ,如 果 把 这 种 数据 应 用 在 数据 库 的 读 取 和 存储 方面 ,将 
有 很 大 的 吞吐 量 优势 。 


关系 数据 库 与 键 值 数 据 库 的 对 比 见 表 4-1。 
表 4-1 关系 数据 库 与 键 值 数据 库 的 对 比 
数据 库 定义 
关系 数据 库 键 值 数据 库 


数据 库 由 表 组 成 , 表 里 面 包含 行 和 列 , 列 由 行 中 
的 元 素 组 成 ,表格 中 的 所 有 行 都 有 相同 的 组 成 形 
式 , 即 每 行 包含 的 列 数 和 列 的 名 称 都 一 样 


可 以 将 任意 数据 放 入 该 数据 库 中 ,对 放 入 的 数据 
格式 要 求 很 低 


数据 的 索引 由 Key 值 决定 ,数据 中 具体 的 Value 
数据 的 组 成 形式 是 提前 定义 好 的 , 它 要 求 输入 的 | 可 以 是 任意 形式 

数据 结构 ,数据 的 组 成 形式 只 是 建立 在 它 所 包含 | Key-Value 是 面向 项 目的 ,这 意味 着 所 有 与 项 目 
的 内 容 的 自然 表现 上 ,而 不 是 面向 应 用 有 关 的 数据 都 被 存储 进 该 项 目 中 ,一 个 域 可 以 包 
含 大 量 不 同 的 项 目 


规范 化 是 关系 数据 库 使 用 到 的 一 种 数据 结构 模 
型 ,能 保证 数据 一 致 性 并 消除 数据 元 余 。 关 系 使 | 域 和 域 之 间 , 还 有 域内 的 各 元 素 没 有 强制 的 关系 
数据 和 表 联 系 在 一 起 


数据 的 存 取 
关系 数据 库 键 值 数据 库 
数据 的 创建 .更 新 和 删除 都 是 由 SQL 完成 的 API 方 法 调用 
SQL 可 以 通过 表单 或 者 连接 获取 数据 不 支持 复杂 的 数据 库 操纵 
SQL 提供 了 聚合 和 复杂 的 过 滤 函 数 只 提供 一 些 简单 的 过 滤 , 如 ==、!=、 一 二 
方法 和 具体 的 实现 是 分 离 的 所 有 的 应 用 和 数据 的 逻辑 都 定义 在 应 用 的 代码 中 


NoSQL(Not only SQL) 数 据 库 包 含 着 一 种 常见 的 键 值 数 据 库存 储 模 型 。NoSQL 数 
据 库 是 指 不 仅仅 使 用 SQL 作为 查询 语句 的 数据 库 系 统 , 还 包含 许多 其 他 数据 模型 与 操 
作 。NoSQL 数据 库 是 随 着 Web 2. 0 技术 的 发 展 与 海量 数据 的 产生 而 逐渐 发 展 起 来 的 ， 
为 了 适应 目前 对 海量 数据 快速 处 理 响应 的 需求 而 产生 。 因 而 ,NoSQL 数据 库 应 该 满足 以 
下 特点 。 
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(1) 能 够 高 效 地 进行 海量 数据 的 存储 和 访问 。 随 着 互联 网 用 户 人 数 的 急剧 增长 ,各 
种 Web 应 用 服务 的 用 户 数 也 随 之 增长 ,Web 应 用 每 天 将 产生 庞大 的 数据 量 ,能 够 高 效 地 
进行 海量 数据 存储 检索 是 Web 应 用 对 数据 库 的 基本 要 求 。 

(2) 能 够 满足 高 并 发 地 读 写 请 求 。 随 着 互联 网 技术 的 普及 ,许多 Web 应 用 时 常 需要 
面 对 百 万 级 别 的 用 户 并 发 访问 ,如 铁路 售票 系统 、 安 全 系统 中 的 日 志 存 储 等 ,都 需要 底层 
数据 存储 系统 对 高 并 发 的 支持 。 

(3) 具有 高 扩展 性 和 高 可 用 性 。 在 云 计算 环境 下 部 署 的 应 用 可 以 根据 实时 负载 增 减 
后 台 服 务 数 量 , 这 就 要 求 后 台数 据 存储 系统 有 较 高 的 可 扩展 性 和 高 可 用 人性。 

日 志 格 式 的 复杂 性 使 得 越 来 越 多 的 企业 开始 使 用 非 关 系 的 键 值 数据 库 。NoSQL 数 
据 库 也 是 未 来 日 志 存储 的 一 个 重要 应 用 。 


4.2.4 Hadoop 分 布 式 存储 策略 


日 志 数 据 的 规模 增长 迅速 ,要 存储 这 种 规模 的 日 志 数 据 , 新 一 代 的 日 志 数据 存储 和 处 
理 系统 必须 具有 海量 日 志 数 据 存储 管理 能 力 、 高 性 能 、 高 可 靠 性 ,伸缩 性 强 、 容 错 性 强 、 设 
备 使 用 率 高 ,能 耗 使 用 率 高 等 特性 ,而 目前 的 日 志 数 据 存储 和 处 理 系统 都 不 能 很 好 地 满足 
这 些 需求 。 传 统 的 本 地 数据 库 作 为 日 志 数据 的 存储 系统 面临 各 种 挑战 ,包括 对 日 志 数据 
增长 的 可 伸缩 性 以 及 高 峰 活 动 时 所 需要 的 存储 和 系统 容量 。 传 统 存储 阵列 发 展 的 几 十 年 
里 ,确实 给 数据 中 心 的 建设 带 来 了 巨大 的 发 展 ,但 是 随 着 虚拟 化 的 普及 以 及 大 数据 、 云 计 
算 、 互 联网 十 等 概念 的 落实 ,传统 存储 阵列 的 疫 态 凸显 ,在 处 理 能 力 ,扩展 性 、 可 维护 性 、 可 
靠 性 方面 ,以 及 成 本 考量 都 呈现 出 更 多 的 劣势 。 存 储 厂商 一 味 在 增强 、 扩 大 这 个 “ 铁 盒 
子 ”, 维 护 传统 领域 “蛋糕 "的 同时 ,也 在 加 紧 研 究 着 另 一 种 背道而驰 的 存储 技术 ,这 就 是 分 
布 式 存储 技术 。 

与 传统 数据 库 系 统 相 比 ,分 布 式 存储 是 一 种 以 数据 为 中 心 的 存储 策略 ,这 种 存储 策略 
利用 分 布 式 技术 将 数据 按照 一 定 规则 保存 到 满足 条 件 的 非 本 地 的 节点 (机 器 ) 中 。 良 好 的 
信息 中 介 机 制 可 以 有 效 地 平衡 数据 存储 和 数据 查询 之 间 的 能 量 损耗 ,在 保证 数据 查询 成 
功 的 同时 不 会 造成 网 络 堵 塞 而 影响 网 络 寿命 。 与 目前 常见 的 集中 式 存储 技术 不 同 ,分 布 
式 存储 技术 并 不 是 将 数据 存储 在 某 个 或 多 个 特定 的 节点 上 ,而 是 通过 网 络 使 用 企业 中 的 
每 台 机 器 上 的 磁盘 空间 ,并 将 这 些 分 散 地 存储 资源 构成 一 个 虚拟 的 存储 设备 ,数据 分 散 地 
存储 在 企业 的 各 个 角落 。 

分 布 式 存储 系统 是 将 数据 分 散 存储 在 多 台独 立 的 设备 上 。 传 统 的 网 络 存储 系统 采用 
集中 的 存储 服务 器 存放 所 有 的 数据 ,存储 服务 器 成 为 系统 性 能 的 瓶颈 ,也 是 可 靠 性 和 安全 
人 性 的 焦点 ,不 能 满足 大 规模 存储 应 用 的 需要 。 分 布 式 网 络 存储 系统 采用 可 扩展 的 系统 结 
构 ,利用 多 台 存 储 服务 器 分 担 存储 负荷 ,利用 位 置 服务 器 定位 存储 信息 , 它 不 但 提高 了 系 
统 的 可 靠 性 .可 用 性 和 存 取 效 率 , 还 易于 扩展 。 

基于 Hadoop 生态 圈 的 日 志 存 储 是 分 布 式 存储 策略 系统 的 代表 。Apache 基金 会 开 
发 的 分 布 式 系统 基础 架构 Hadoop ,部 署 在 低廉 的 硬件 上 ;而 且 它 提供 高 吞吐 量 访问 应 用 
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程序 的 数据 ,适合 有 超大 数据 集 的 应 用 程序 。Hadoop 实现 了 一 个 分 布 式 文件 系统 
(HDFS) 和 一 种 编程 模型 MapReduce。Hadoop 具有 高 可 靠 性 、 高 扩展 性 、 高 效 性 、 高 容 
错 性 和 低 成 本 等 特点 。Hadoop 的 分 布 式 架 构 将 大 数据 处 理 引 擎 尽 可 能 地 靠近 存储 。 
Hadoop 的 MapReduce 功能 实现 了 将 单个 任务 打 碎 ,并 将 碎片 任务 发 送 到 多 个 节点 上 。 

HDFS 为 海量 数据 提供 存储 模型 。HDFS 是 Hadoop 实现 的 一 个 分 布 式 文件 系统 
(Hadoop Distributed File System) 。HDFS 专门 负责 对 存储 在 Hadoop 集群 上 的 数据 的 
存储 管理 .元 余 备 份 以 及 出 错 恢复 处 理 。HDFS 有 高 容错 性 和 高 扩展 性 ,适合 部 署 在 低 
廉 的 硬件 上 ,而 且 可 提供 高 吞吐 量 访问 应 用 程序 的 数据 ,还 提供 流 式 数 据 访 问 模式 读 写 超 
大 文件 ,适合 有 海量 数据 集 的 应 用 程序 。HDFS 有 如 下 5 个 特点 。 
HDFS 满足 超大 规模 的 数据 集 需 求 。 整 个 文件 系统 都 能 够 存储 和 处 理 的 数据 量 
可 达到 几 十 PB, 甚 至 几 百 PB。 
HDFS 支持 流 式 的 数据 访问 。HDFS 有 “一 次 写 入 ,多 次 读 取 ” 的 构建 思想 ,这 是 
一 种 较为 高 效 的 数据 访问 模式 。 当 一 个 文件 存储 到 HDFS 后 ,就 不 能 随意 修改 ， 
但 可 以 多 次 读 取 。 
HDFS 可 容忍 节点 失效 的 发 生 。HDFS 被 设计 成 适合 运行 在 通用 硬件 上 ,整个 集 
群 包含 了 很 多 节点 ,由 于 硬件 错误 或 网 络 中 断 等 原因 造成 的 节点 失效 是 不 可 避免 
的 ,但 Hadoop 有 自己 的 元 余 备 份 措施 保证 数据 的 可 靠 性 和 可 用 性 。 
HDFS 有 很 强 的 扩展 性 。 根 据 需 要 ,可 以 动态 向 Hadoop 集群 中 增加 或 删除 节 
点 ,这 样 的 操作 不 会 影响 整个 系统 的 正常 工作 ,HDFS 会 自动 更 新 集群 节点 状态 。 
HDFS 存储 文件 时 会 将 文件 分 割 为 多 个 数据 块 。HDFS 和 其 他 文件 系统 一 样 , 允 
许 存储 的 单个 数据 块 大 小 是 有 限制 的 。HDFS 采用 多 副本 策略 保证 数据 的 可 靠 
性 和 容错 性 ,会 把 文件 按 块 大 小 分 成 多 个 块 ,每 个 块 存储 2 一 3 个 副本 ,一 个 在 同 
机 架 的 男 一 个 服务 器 上 ,一 个 在 不 同 机 架 的 另 一 个 服务 器 上 。Hadoop 默认 的 分 
块 大 小 为 64MB( 最 大 为 64MB) ,用 户 也 可 以 根据 需要 调整 分 块 大 小 。 

根据 HDFS 的 特点 ,可 以 将 其 作为 日 志 数 据 存 储 访问 的 底层 的 分 布 式 文件 系统 。 一 
个 HDFS 由 一 个 NameNode 和 多 个 DataNode 组 成 ,其 中 NameNode 存储 文件 系统 的 元 
数据 ,DataNode 存储 实际 的 数据 。 具 体 来 说 ,NameNode 是 管理 节点 ,主要 存储 和 管理 整 
个 文件 系统 的 NameSpace 和 元 数据 ,元 数据 里 包括 保存 了 哪些 数据 块 、 数 据 块 分 布 在 哪 
些 节点 数据 块 的 顺序 和 数据 块 的 副本 数 等 信息 。 除 此 之 外 ,NameNode 还 负责 文件 的 读 
取 写 入 过 程 。DataNode 是 HDFS 真正 存储 数据 的 地 方 。 一 个 文件 被 分 割 为 一 个 或 多 个 
数据 块 ,这 些 数据 块 分 别 存储 在 不 同 DataNode 上 。 集 群 开始 正常 运行 后 ,DataNode 和 
NameNode 会 建立 连接 并 不 断 保持 心跳 ,心跳 信息 中 包含 DataNode 的 状态 和 NameNode 
对 DataNode 的 命令 等 。 作 为 数据 存储 的 实际 节点 ,DataNode 接收 对 数据 的 访问 ,响应 
数据 的 读 写 请 求 。 另 外 ,DataNode 之 间 也 会 保持 联系 ,以 达到 相互 协调 地 工作 。HDFS 
结构 图 和 HDFS 架构 图 分 别 如 图 4-3 和 图 4-4 所 示 。 

Hadoop 有 传统 数据 库 系统 不 具有 的 许多 优点 。Hadoop 不 用 在 各 个 系统 上 使 用 平 
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台 特 定 的 查询 工具 ,就 能 对 日 志 数 据 进行 快速 检索 和 搜索 。Hadoop 通过 将 搜索 请 求 分 
布 到 集群 各 个 节点 ,快速 寻找 、 处 理 和 检索 结果 ,从 而 在 数据 量 级 别 增 长 时 很 好 地 实现 了 
可 伸缩 性 。Hadoop 主要 用 Java 构建 ,可 以 实现 日 志 数 据 的 实时 查看 和 分 析 。Hadoop 在 
跨越 Hadoop 集群 各 节点 的 Hadoop 分 布 式 文件 系统 (HDFS) 中 ,将 数据 存储 为 一 组 有 结 
构 的 扁平 文件 。 除 此 之 外 , Hadoop 具备 高 容错 性 ,通过 在 集群 节点 间 制 作 多 个 备份 数 
据 , 当 一 个 节点 出 现 故 障 时 ,数据 仍 可 以 从 其 他 节点 检索 ,保障 了 数据 存储 的 安全 性 和 可 


靠 性 。 


基于 Hadoop 生态 系统 的 存储 是 一 个 强大 的 分 布 式 存储 系统 ,但 是 同样 存在 一 定 的 
缺点 。 现 有 的 许多 日 志 记 录 工 具 对 Hadoop 的 直接 支持 有 限 。 除 此 之 外 ,分 布 式 集群 的 


搭建 和 维护 也 要 耗费 巨大 的 成 本 。 
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三 存储 方式 


4.3.1 在 线 存 储 


在 线 存 储 是 指 将 信息 实时 存储 ,存储 设备 和 所 存储 的 数据 时 刻 保持 “在 线 ” 状 态 , 使 得 
在 线 日 志 信 息 可 以 立即 访问 和 检索 ,并 且 可 供用 户 随时 读 取 。 这 类 存储 通常 是 最 昂贵 的 
选择 ,因为 必须 开启 专用 硬件 资源 提供 即时 检索 。 在 线 存 储 可 以 是 连接 到 服务 器 的 硬盘 、 
数据 库 系统 或 存储 区 域 网 络 系统 。 一 般 在 线 存 储 设备 为 磁盘 和 磁盘 阵列 等 存储 设备 , 价 
格 昂贵 ,但 是 性 能 较 好 。 在 线 存 储 相 比 于 传统 的 存储 设备 (如 硬盘 或 U 盘 等 ) 有 自己 的 
特点 。 

(1) 一 次 存储 (或 备份 )、 随 时 随地 访问 。 用 户 将 自己 有 用 的 文件 .视频 .音乐 .软件 等 
资料 保存 到 互联 网 上 , 待 需要 使 用 时 可 以 在 任何 连接 互联 网 的 设备 上 访问 这 些 资料 并 下 
载 使 用 ,不 用 重新 搜索 。 用 户 不 仅 可 以 省 去 搜索 新 资料 的 时 间 ,而 且 不 必 随 时 携带 移动 设 
备 ,不 用 担心 计算 机 系统 崩溃 导致 文件 丢失 等 情况 ,方便 用 户 的 日 常生 活 。 

(2) 数据 共享 。 用户 可 以 在 线 实时 分 享 自己 的 在 线 文件 ,被 分 享用 户 可 以 根据 具体 
需求 取出 自己 所 需 的 文件 ,从 而 实现 数据 文件 的 共享 。 

(3) 在 线 同步 。 在 线 存 储 可 以 在 计算 机 、 移 动 设备 空闲 时 ,随时 备份 计算 机 或 者 设备 
中 的 数据 ,安全 性 能 非常 高 。 

(4) 存储 空间 大 、 容 易 扩展 。 一 般 来 讲 , 任 何在 线 存 储 服务 在 用 户 注册 时 都 会 赠送 存 
储 空间 。 例 如 ,微软 的 SkyDrive 软件 ,国内 的 360 云 .百度 云 等 可 赠送 达 TB 级 别 的 免费 
存储 空间 ,用 户 不 用 担心 存储 空间 不 够 用 的 情况 发 生 。 

云 存储 是 一 种 新 兴 的 在 线 存储 方式 。 它 是 在 云 计 算 概念 上 延伸 和 发 展 出 来 的 一 个 新 
的 概念 ,是 指 通过 集群 应 用 、 网 络 技 术 或 分 布 式 文件 系统 等 功能 ,将 网 络 中 大 量 各 种 不 同 
类 型 的 存储 设备 通过 应 用 软件 集合 起 来 协同 工作 ,共同 对 外 提供 数据 存储 和 业务 访问 功 
能 的 一 个 系统 。 云 存储 是 一 个 以 数据 存储 和 管理 为 核心 的 云 计算 系统 ,是 对 现 有 存储 方 
式 的 一 种 变革 ,也 就 是 "存储 即 服务 ”。 云 存储 与 传统 的 存储 有 很 大 的 区 别 , 它 是 由 许多 网 
络 存储 设备 服务器、 应 用 软件 等 多 个 部 分 构成 的 集合 体 。 云 存储 提供 的 是 存储 服务 , 云 
中 有 很 多 的 网 络 设备 为 用 户 提供 服务 ,而 对 于 外 界 接 和 人 云 的 用 户 来 讲 ,这 些 都 是 被 屏 项 
的 。 无 论 何 时 何 地 ,使 用 者 都 可 以 通过 一 个 网 络 接 和 人 线 缆 和 通过 一 组 用 户 名 密码 接 人 网 
络 , 享 受 网 络 带 来 的 服务 。 用 户 不 需要 担心 相关 固态 硬盘 等 存储 设备 ,只 联网 登录 到 自己 
的 云 存 储 空间 就 可 以 找到 预先 存在 上 面 的 文件 ,给 用 户 带 来 很 大 的 方便 。 云 存储 平台 
体 结 构 可 以 划分 为 4 个 层次 , 自 下 向 上 依次 是 : 数据 存储 层 、 基 础 管理 层 、 应 用 接口 层 以 
及 用 户 访问 层 。 云 存储 结构 模型 如 图 4-5 所 示 。 数 据 存 储 层 将 不 同类 型 的 存储 设备 连 起 
来 ,同时 实现 对 存储 设备 的 存储 虚拟 化 、 存 储 集中 管理 ,状态 监控 和 维护 升级 等 的 管理 ; 基 
础 管理 层 通 过 集群 系统 、 内 容 分 发 .数据 加 密 等 技术 ,实现 云 存储 中 多 个 设备 协同 工作 ; 开 
发 商 可 以 根据 不 同 的 应 用 服务 接口 提供 多 种 不 同 的 应 用 服务 ;用 户 访问 层 为 用 户 提供 公 
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用 的 访问 接口 。 


用 户 | 个 人 空间 服务 、 运 | | 企 事业 单位 数据 | | 视频 监控 、IPTV 
访问 层 ”| 营 商 空间 租赁 等 | | 备份 、 远 程 共享 等 | | ”等 存储 系统 


应 用 网 络 接 入 、 用 户 认证 、 权 限 管理 
和 公用 API、 应 用 软件 、Web Service 等 

基础 集群 系统 内 容 分 发 数据 加 密 
管理 层 | 分 布 式 文件 系统 数据 庄 缩 数据 从 


数据 存储 虚拟 化 、 存 储 集 中 管理 、 状 态 监控 、 维 护 升级 等 
存储 层 存储 设备 (如 NAS、 PC 等) 


4-5 云 存储 结构 模型 


云 存储 将 存储 资源 作为 服务 通过 互联 网 提供 给 用 户 使 用 ,是 云 计 算 中 基础 设施 即 服 
务 (Infrastructure as a Service,1aaS) 的 一 种 重要 形式 。 借 助 于 虚拟 化 和 分 布 式 计算 与 存 
储 技 术 , 云 存 储 可 以 将 众多 廉价 的 存储 介质 整合 为 一 个 存储 资源 池 ,向 用 户 屏蔽 了 存储 硬 
件 配置 .分 布 式 处理 、 容 灾 与 备份 等 细节 。 用 户 可 以 按 自己 对 存储 资源 的 实际 需求 量 向 云 
服务 提供 商 租 用 池内 资源 ,省 却 了 本 地 的 存储 硬件 及 人 员 投 入 。 同 时 ,将 存储 的 基础 设施 
交 由 专业 的 云 服务 提供 商 维护 可 以 保证 更 好 的 系统 稳定 性 。 专 业 云 服务 提供 商 一 般 具 有 
普通 用 户 无 法 比拟 的 技术 和 管理 水 平 ,从 技术 上 为 用 户 数据 提供 更 好 的 元 余 备 份 与 灾难 
恢复 。 

云 存 储 不 同 于 虚拟 存储 ,二 者 是 两 个 不 同 层面 的 概念 ,前 者 代表 一 种 服务 ,后 者 代表 
一 种 技术 。 所 谓 虚拟 存储 ,就 是 把 多 个 存储 介质 模块 (如 硬盘 、RAID) 通 过 一 定 的 手段 集 
中 管理 起 来 ,所 有 的 存储 模块 在 一 个 存储 池 (Storage Pool) 中 得 到 统一 管理 。 虚 拟 存储 通 
过 在 服务 器 (应 用 层 ) 和 物理 存储 系统 之 间 增 加 一 个 虚拟 层 , 提 供 大 容量 、 易 扩展 、 提 高 整 
体 带 宽 、 整 合 异 构 存储 介质 、 简 化 管理 和 低 成 本 等 优势 。 云 存储 以 虚拟 化 技术 为 基础 ,但 
在 虚拟 存储 上 增加 了 网 络 和 服务 的 概念 。 相 对 于 虚拟 存储 , 云 存 储 具 有 如 下 优势 。 

(1) 成 本 低 。 建 立 自己 的 存储 系统 成 本 较 高 ,体现 在 硬件 等 资源 投入 没有 弹性 ,不 是 
按 需 使 用 ;维护 开销 巨大 , 且 往往 需要 较 高 的 管理 和 技术 水 平 。 而 云 存储 资源 由 专业 的 提 
供 商 创建 和 维护 ,用 户 只 需 按 需 租用 这 些 资源 ,就 能 获得 与 专 有 存储 系统 相 匹 配 的 存储 服 
务 , 省 去 了 不 断 累积 的 硬件 投入 和 维护 开销 。 

(2) 便捷 访问 。 专 有 存储 系统 为 了 保证 对 外 安全 性 ,往往 位 于 企业 内 部 ,这 样 使 得 外 
界 对 存储 系统 的 访问 很 不 便捷 。 云 存储 系统 由 专业 提供 商 维 护 ,用 户 在 任何 地 方 都 可 以 
通过 “ 云 ” 便 捷 地 访问 ,同时 不 用 考虑 安全 性 等 问题 。 

(3) 具备 海量 扩展 能 力 。 云 存储 采用 的 是 并 行 架构 ,相对 于 传统 的 串 行 架构 来 说 , 存 
储 容量 分 配 不 受 物理 硬盘 限制 ,部 署 新 的 存储 设备 即 可 增加 容量 。 对 云 存 储 来 说 ,不 论 多 
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少 存储 设备 ,都 只 看 作 一 台 存 储 设备 ,整体 硬盘 容量 将 耗 尽 时 ,部署 新 磁盘 阵列 即 可 实现 
存储 总 容量 的 线性 增长 。 

(4) 实现 负载 均衡 。 在 传统 存储 模式 下 部 署 多 台 设 备 时 ,会 出 现 工 作 量 分 配 不 均 的 
现象 ,形成 存储 效能 瓶颈 。 而 云 存储 系统 对 外 提供 统一 名 称 ,使 用 这 个 名 称 可 以 存 取 整 个 
存储 池 的 数据 ,便于 应 用 开发 ;对 内 将 工作 量 均匀 分 配 ,实现 负 载 均 衡 ,避免 单 点 瓶颈 ,发 
挥 系统 最 大 效能 。 

(5) 可 实现 量 身 定制 。 存 储 产 品 在 提供 其 存储 空间 时 ,其 实 提供 的 不 仅 是 空间 本 身 ， 
而 且 会 根据 企业 的 需求 给 出 一 个 量 身 定制 的 解决 方案 。 

当然 ,目前 云 存储 服务 的 发 展 也 面临 着 一 些 挑战 ,具体 体现 在 : 

(1) 数据 安全 与 可 用 性 之 间 的 权衡 。 因 为 云 存储 中 用 户 间 共享 存储 资源 ,所 以 当 用 
户 考虑 将 自己 的 核心 数据 放 到 云 上 前 ,一 定 会 考虑 到 数据 的 安全 性 。 

(2) 性 能 和 数据 传输 速率 的 限制 。 有 限 的 网 络 带宽 加 上 云 计算 协议 带 来 的 延迟 极 大 
地 降低 了 用 户 体验 水 平 ,使 得 很 多 数据 访问 模式 下 ,目前 的 云 存储 并 不 是 最 佳 选择 ,如 当 
数据 传输 距离 很 远 且 数据 流动 范围 很 大 的 场合 ,或 者 数据 访问 频率 与 事务 速率 要 求 很 高 
的 场合 。 云 存储 服务 的 应 用 更 多 地 局 限 在 不 需 频繁 存 取 数据 的 场合 ,如 归档 、 备 份 、 离 线 
数据 保护 等 。 

(3) 可 管理 性 的 缺乏 。 由 于 缺少 独立 于 提供 商 的 ,可 用 于 评估 云 存 储 可 用 性 的 工业 
标准 或 工具 ,用 户 担心 一 旦 采用 某 供应 商 的 云 服务 模式 后 ,就 被 “锁定 ?在 这 个 供应 商 , 从 
而 使 将 来 在 供应 商 之 间 的 自由 迁移 变 得 困难 。 

(4) 互 操作 性 与 协议 转换 的 困境 。 当 前 企业 的 大 部 分 应 用 程序 都 采用 基于 文件 块 的 
协议 ,但 是 云 存储 架构 中 盛行 的 是 基于 文件 的 协议 。 因 此 ,如 何在 云 存储 协议 既 有 应 用 协 
议 之 间 进 行 翻译 或 转换 是 云 存 储 的 推广 必须 考虑 的 问题 。 

总 而 言 之 ,在 线 存储 从 用 户 角 度 来 讲 , 用 户 不 仅 可 以 通过 Web 方式 进行 在 线 手 动 文 
件 管理 ,并 且 可 以 通过 客户 端 方式 实现 离线 编辑 和 在 线 自动 同步 上 传 ,用 户 可 以 通过 修改 
本 地 磁盘 文件 修改 网 络 文件 , 即 无 论 客户 机 处 于 在 线 状态 ,还 是 处 于 离线 状态 ,用 户 都 可 
以 对 本 地 文件 夹 的 文件 进行 编辑 ,一旦 客户 机 处 于 在 线 状态 ,系统 就 会 自动 同步 文件 到 网 
上 。 从 服务 器 角度 而 言 , 系 统 将 底层 存储 细节 和 存储 过 程 屏 蔽 ,达到 用 户 方便 易 用 的 目 
的 。 用 户 可 以 在 任何 时 间 、 任 何 地 方 , 透 过 任何 可 联网 的 计算 机 设备 连接 到 网 上 方便 地 读 
取 数 据 。 

以 云 存储 为 代表 的 在 线 存储 的 优点 是 访问 延迟 低 ,同时 支持 大 量 用 户 访问 ,并 易于 集 
中 管理 ,性 能 较 好 。 通 过 使 用 在 线 存储 系统 ,使 用 者 可 以 达到 很 好 的 体验 。 一 方面 ,使 用 
者 可 以 根据 自身 需要 通过 网 络 一 次 存储 ,随时 随地 读 取 ,节省 了 用 户 的 本 地 空间 ; 另 一 方 
面 ,用 户 可 以 像 使 用 本 地 磁盘 一 样 使 用 网 络 磁盘 ,系统 客户 端 会 帮助 用 户 将 同步 文件 夹 中 
修改 的 文件 自动 上 传 到 网 上 , 免 去 了 用 户 必须 随身 携带 的 困扰 ,很 大 程度 地 方便 了 用 户 的 
生活 和 工作 。 缺 点 则 是 数据 的 安全 性 、 稳 定性 不 能 得 到 很 好 的 保证 。 


4.3.2 近 线 存储 
数据 存储 分 为 在 线 存储 和 离线 存储 两 种 存储 方式 。 在 实际 工作 中 ,在 线 存储 与 离线 
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存储 是 相互 配合 协调 工作 的 。 在 线 存储 主要 用 来 做 日 常数 据 访问 与 存储 ,而 离线 存储 则 
主要 用 来 对 数据 的 备份 。 如 一 个 邮件 服务 器 ,其 日 常 的 邮件 数据 保存 于 在 线 存 储 设备 中 。 
然后 每 隔 一 个 周期 ,如 每 隔 一 天 ,通过 相关 的 备份 文件 将 在 线 存储 设备 中 的 邮件 信息 备份 
到 离线 设备 中 。 也 就 是 说 ,此 时 离线 存储 设备 只 有 在 数据 备份 那 一 段 时 间 启 用 。 为 此 , 离 
线 存 储 也 可 以 说 是 一 种 绿色 存储 方案 。 但 是 ,在 线 存 储 中 也 不 是 所 有 数据 用 户 都 需要 经 
常 访问 的 。 如 在 线 存储 中 存储 着 邮件 的 信息 。 有 些 用 户 可 能 出 于 信息 保存 的 需要 ,会 两 
年 .甚至 更 长 时 间 不 删除 邮件 。 而 用 户 日 常 需要 的 邮件 可 能 只 是 集中 在 最 近 半 年 中 。 也 
就 是 说 ,在 线 存储 设备 可 能 有 三 分 之 二 的 数据 都 是 不 怎么 需要 访问 到 的 。 但 是 ,实际 上 这 
些 数据 仍然 在 时 刻 “ 待 命 ”, 等 候 用 户 检 阅 。 这 显然 是 一 种 非常 浪费 的 行为 。 而 且 这 些 数 
据 又 无 法 保存 到 离线 设备 中 。 如 何 解决 这 种 “两 难 ” 的 困境 呢 ? 业 界 提出 的 近 线 存储 很 好 
地 解决 了 这 个 问题 。 

近 线 存储 是 介 于 在 线 存储 和 离线 存储 之 间 的 存储 选择 , 即 所谓 的 分 级 存储 。 通 俗 来 
讲 ,存储 系统 根据 用 户 访问 的 历史 数据 将 数据 分 为 两 类 : 用 户 经 常 需要 访问 的 数据 与 不 
需要 访问 的 数据 。 近 线 存 储 将 那些 不 是 经 常用 到 ,或 者 说 数据 的 访问 量 并 不 大 的 数据 存 
放 在 性 能 较 低 的 存储 设备 上 ,但 同时 对 这 些 设备 的 要 求 是 寻 址 迅速 ,传输 率 高 。 总 而 言 
之 , 近 线 存储 对 性 能 要 求 不 高 ,但 是 必须 要 有 很 高 的 访问 性 能 。 

近 线 存储 系统 中 的 关键 设备 是 磁带 库 与 光盘 库 , 其 存储 容量 通常 在 TB 级 (1TB= 
1024GB) ,其 至 PB 级 (1PB 二 1024TB) ,价格 大 约 在 1. 45 美元 /GB。 由 此 可 见 ,采用 磁带 
库 和 光盘 库 作 为 关键 存储 设备 ,是 一 种 性 价 比 极 佳 的 存储 解决 方案 。 目 前 的 磁带 库 生 产 
厂家 有 IBM、Sony、STK、ADIC 等 公司 ,光盘 库 生 产 厂家 有 JVC、NSM 等 公司 ,其 产品 的 
共同 特点 是 技术 领先 ,性 能 极 好 及 产品 线 较 全 等 。 

近 线 存储 系统 一 般 采 用 硬盘 、 磁 带 或 光盘 作为 存储 介质 ,并 使 用 相应 的 近 线 存储 管理 
软件 对 存储 文件 进行 管理 ,因此 近 线 存储 兼 具 硬 盘 在 线 系统 和 磁带 .光盘 离 线 系统 的 优 
点 。 一 方面 , 近 线 系统 的 数据 检索 部 分 位 于 硬盘 ,其 读 写 速度 快 ; 另 一 方面 , 近 线 系统 将 大 
量 使 用 频率 较 低 的 数据 迁移 到 磁带 库 或 光盘 库 中 , 既 有 离线 存储 系统 数据 容量 近 于 无 限 
的 优点 ,又 节省 在 线 部 分 的 硬盘 空间 。 具 体 来 说 ,硬盘 用 来 存放 数据 检索 系统 ,磁带 和 光 
盘 则 用 来 存放 大 量 的 数据 信息 。 当 数据 的 使 用 频率 很 低 时 ,存储 管理 软件 根据 事先 设 定 
编写 的 迁移 策略 ,把 数据 从 硬盘 中 迁移 到 磁带 库 或 者 光盘 库 中 ,但 这 段 数据 的 索引 被 保存 
在 硬盘 上 。 当 用 户 访问 近 线 存储 的 磁带 库 或 光盘 库 时 ,首先 通过 存储 管理 软件 确定 磁盘 
或 磁带 的 存放 位 置 , 然 后 将 需要 访问 的 数据 迁移 到 服务 器 中 ,完成 数据 访问 。 全 过 程 由 计 
算 机 管理 系统 自动 完成 ,不 需要 人 工 干 预 ,管理 员 只 需 制订 相关 规则 即 可 。 近 线 存 储 系统 
的 优点 主要 兼 具 人 硬盘 在 线 系统 和 磁带 、 光 盘 离 线 系统 的 优点 : 近 线 存储 系统 的 数据 检索 
部 分 位 于 硬盘 上 ,吸纳 了 在 线 存 储 系统 访问 速度 快 的 优点 ,从 而 为 用 户 的 数据 访问 提供 最 
快 的 响应 速度 ; 近 线 系统 将 大 量 使 用 频率 较 低 的 数据 迁移 到 磁带 库 或 光盘 库 中 ,吸纳 了 离 
线 存 储 系统 数据 容量 近 于 无 限 的 优点 ,同时 也 节省 了 在 线 部 分 的 硬盘 空间 :为 中 心 存储 设 
备 提供 了 安全 备份 。 举 一 个 简单 的 例子 , 随 着 网 络 应 用 的 深度 普及 ,人 们 在 学 习 、 工 作 、 生 
活 中 越 来 越 离 不 开 网 络 , 所 以 在 网 络 的 运行 过 程 中 ,会 产生 海量 的 网 络 日 志 , 通 过 海量 的 
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日 志 可 以 分 析 用 户 上 网 行为 的 特点 ,为 网 络 的 优化 、 网 络 安全 提供 科学 决策 的 依据 。 而 我 
国 的 《网络 安全 法 》 要 求 : 网 络 运营 者 应 采取 检测 、 记 录 网 络 运行 状态 和 网 络 安全 事件 的 
技术 措施 ,并 按照 规定 留存 相关 的 网 络 日 志 不 少 于 6 个 月 。 当 这 6 个 月 的 日 志 存 储量 很 
大 ,但 访问 量 很 小 时 ,选择 近 线 存储 不 失 为 一 种 很 好 的 日 志 存 储 方式 。 近 线 存 储 的 硬件 架 
构 如 图 4-6 所 示 。 


视频 服务 器 
存储 级 
以 大 网 主干 T 


迁移 管理 服务 器 
磁带 库 控制 服务 器 


磁带 库 
4-6 近 线 存储 的 硬件 架构 


总 的 来 说 ,采用 近 线 存储 主要 具备 以 下 两 大 优势 。 

(1) 响应 速度 快 。 近 线 存储 系统 的 数据 检索 系统 位 于 硬盘 上 ,因此 可 为 用 户 的 数据 
访问 提供 快速 响应 。 

(2) 节省 空间 。 近 线 存储 将 大 量 使 用 频率 低 的 数据 迁移 到 磁盘 库 或 光盘 库 中 ,具有 
离线 存储 数据 容量 大 的 特点 ,能 节省 在 线 存储 部 分 的 硬盘 空间 。 

近 线 存 储 可 以 提供 宛 余 存储 ,从 而 保证 数据 的 完整 性 和 灾难 保护 ,但 是 在 大 多 数 情况 
下 ,由 于 不 常用 的 数据 占 总 数量 的 比重 较 大 ,所 以 要 求 近 线 存储 设备 所 需 的 容量 相对 
较 大 。 


4.3.3 ”离线 存储 


离线 存储 目前 主要 使 用 的 是 光盘 或 磁带 存储 ,大 多 数 情况 下 用 于 对 在 线 存储 的 数据 
进行 备份 ,以 防范 可 能 发 生 的 数据 灾难 ,因此 又 称 为 备份 级 的 存储 。 离 线 存储 在 目前 的 应 
用 中 主要 作为 在 线 存储 的 安全 备份 和 应 急 备 份 ,为 在 线 存 储 的 灾后 数据 恢复 等 提供 保障 
数据 。 随 着 社会 的 发 展 ,离线 存储 对 图 书馆 、 档 案 馆 、 科 技 馆 、 博 物 馆 、 文 化 馆 、 美 术 馆 等 大 
型 场馆 ,特别 是 军队 、 政 府 机 构 和 商业 机 构 也 十 分 重要 ,如 公安 、 民 政 、 国 土 、 银 行 、 保 险 、 医 
院 等 各 类 海量 数据 存储 机 构 均 具 有 使 用 需求 。 离 线 存 储 对 于 长 期 不 利用 的 数据 具有 在 线 
或 近 线 没 有 的 管理 优势 .节能 优势 。 

离线 存储 的 主要 介质 包括 磁带 、 光 盘 、 硬 盘 3 种 。 每 种 存储 载体 各 有 技术 优势 。 作 为 
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主要 载体 之 一 ,硬盘 在 离线 存储 工作 中 得 到 了 越 来 越 多 的 应 用 。 硬 盘 具 有 数据 读 取 速 度 
快 .技术 发 展 迅 速 、 单 位 存储 成 本 逐年 快速 降低 、 单 盘 介 质 存 储 容量 相对 较 大 等 优势 ,硬盘 
在 离线 系统 存储 中 有 着 广泛 和 稳定 的 应 用 。 但 是 ,由 于 硬盘 自身 的 技术 特性 存在 一 定 劣 
势 ,以 及 保存 和 使 用 不 当 等 原因 ,造成 硬盘 损坏 、 数 据 丢 失 等 问题 ,已 成 为 离线 存储 的 极 大 
隐患 。 

接 下 来 详细 介绍 离线 存储 的 三 大 介质 以 及 相应 的 优 缺 点 。 


1. 磁带 

磁带 主要 以 防磁 柜 的 方式 进行 离线 存储 ,使 用 磁带 机 进行 读 取 。 磁 带 属于 传统 的 离 
线 存储 介质 ,广泛 应 用 于 数据 的 离线 备份 存储 ,具有 存储 量 大 、 保 存 时 间 长 的 优点 ,但 缺点 
也 比较 明显 , 当 读 取 数 据 时 ,需要 把 带子 卷 到 头 , 再 进行 定位 。 磁 带 保存 环境 相 比 于 光盘 、 
硬盘 更 加 困难 ,需要 保障 存储 的 温 湿 度 及 考虑 周围 磁场 的 严格 保存 环境 条 件 。 磁 带 的 读 
取 需 要 配合 磁带 机 使 用 ,不 能 支持 单 盘 单独 离线 查询 和 单 盘 管理 。 

磁带 在 未 来 的 发 展 主要 以 磁带 库 的 形式 保管 , 即 磁带 加 存储 设备 为 一 体 的 管理 和 使 
用 。 但 是 ,相对 于 磁带 的 容量 和 性 价 比 来 说 ,磁带 库 在 未 来 的 发 展 正在 逐步 被 硬盘 盘 阵 系 
统 中 的 虚拟 带 库 所 替代 。 


2. 光盘 

光盘 作为 介质 主要 以 光盘 塔 .光盘 库 两 种 存储 方式 进行 离线 存储 。 

光盘 塔 是 由 多 个 只 读 光 盘 (Compact Disc Read-Only Memory,CD-ROM) 驱 动 器 串 
联 而 成 的 ,光盘 预先 放置 在 CD-ROM 驱动 器 中 。 事 实 上 ,光盘 塔 相当 于 多 个 CD-ROM 
驱动 器 的 “堆砌 ?。 光 盘 塔 一 次 可 共享 的 CD-ROM 光盘 的 数量 与 其 拥有 的 CD-ROM 驱 
动 器 数量 相等 。 用 户 访问 光盘 塔 时 直接 访问 CD-ROM 驱动 器 中 的 光盘 ,访问 速度 较 光 
盘 库 稍 快 。 

光盘 库 的 设计 思路 由 投 币 式 点 唱机 而 来 。 它 是 一 种 带 有 自动 换 盘 功能 的 光盘 网 络 共 
享 设备 。 光 盘 库 一 般配 置 有 1 一 12 台 CD-ROM 驱动 器 ,可 容纳 50 一 600 片 CD-ROM 光 
盘 。 用 户 访问 光盘 库 时 ,自动 换 盘 机 首先 将 已 放 在 CD-ROM 中 的 光盘 取出 来 并 放置 到 
盘 架 上 的 指定 位 置 ,然后 再 从 盘 架 中 取出 用 户 所 需 的 CD-ROM 光盘 ,并 将 此 光盘 送 入 
CD-ROM 驱动 器 中 。 由 于 自动 换 盘 机 的 换 盘 时 间 通 常 在 秒 量 级 ,因此 光盘 库 的 访问 速度 
较 慢 。 

随 着 近 些 年 蓝光 光盘 的 普及 使 用 ,目前 市 场 上 已 逐步 退出 蓝光 光盘 库 , 相 对 的 单 盘 容 
量 较 小 ,通常 为 50 一 100GB, 按 3. 5 寸 硬盘 体积 计算 ,单位 体积 光盘 存储 量 约 为 500GB， 
而 3.5 寸 硬 盘 目 前 可 达到 TB 级 甚至 更 高 。 相 对 硬盘 存储 .光盘 存储 具有 不 可 修改 及 较 
高 的 抗震 、 抗 冲击 性 ,保管 寿命 较 长 等 优点 ,但 重复 读 写 次 数 较 少 ,速度 较 低 。 


3. 硬盘 
硬盘 存储 是 以 磁盘 为 存储 介质 的 存储 器 ,利用 磁 记 录 技 术 在 涂 有 磁 记 录 介 质 的 旋转 
圆 盘 上 进行 数据 存储 的 辅助 存储 器 ,具有 存储 容量 大 、 数 据 传输 率 高 .存储 数据 可 长 期 保 
存 等 特点 。 硬 盘 是 近 些 年 运用 在 离线 存储 上 常用 的 介质 ,在 硬盘 刚 出 现时 受制 于 硬盘 价 
71 


日 志 审 计 与 分 析 ms 


格 居 高 不 下 及 单 片 容量 较 小 的 限制 ,一 直 未 在 离线 存储 中 进行 使 用 ,但 随 着 硬盘 价格 走 
低 , 容 量 的 增加 ,硬盘 成 为 最 经 济 、 最 稳定 、 读 取 最 方便 的 存储 介质 。 同 时 ,硬盘 在 离线 存 
储 的 发 展 中 可 以 利用 虚拟 技术 进行 光盘 数据 以 及 磁带 数据 存储 的 便捷 性 也 是 光盘 和 磁带 


无 法 比拟 的 。 硬 盘 在 未 来 的 离线 存储 发 展 中 ,必然 占据 重要 的 位 置 。 
不 同 介质 的 优 缺 点 见 表 4-2。 


表 4-2 不 同 介质 的 优 缺 点 


介 质 磁 带 光 盘 硬 盘 

物理 优点 易 生产 、 使 用 广泛 数据 不 可 修改 存储 容量 大 ,可 以 长 期 保存 
数据 易 受 外 界 环境 影响 ， 

物理 缺点 保存 时 磁 塑 介质 易 粘连 片 基 易 老化 , 盘 片 易 划 损 抗 冲击 力 较 弱 

使 用 管理 优点 | 系统 成 熟 ,存储 容量 大 通用 性 较 高 信息 易 定位 且 定 期 备份 
速度 慢 、 定 位 信息 困难 、 需 | 使 用 中 光盘 数量 大 、 读 写 速 

使 用 管理 缺点 专门 设备 读 取 度 较 慢 需 定期 启动 ,保证 正常 工作 

后 期 管理 需要 短 周 期 对 介质 进行 检 | 需要 对 大 量 同 类 介质 进行 分 | 通过 技术 对 数据 进行 自 
验 . 读 取 、 重 新 复制 类 检验 ,并 重新 备份 检 ,重新 复制 数据 速度 也 快 

保存 为 保证 数据 安全 、 完 整 , 需 | 对 保存 环境 要 求 较 弱 , 但 是 | 较 易 保存 且 保存 时 占用 空 
要 保存 环境 比较 苛刻 长 时 间 保 存 光盘 基 片 易 老 化 | 间 较 少 
需 专门 磁带 设备 , 读 取 设 

价格 备 较 贵 价格 很 便宜 价格 适中 


随 着 硬盘 的 性 价 比 逐年 上 升 ,硬盘 在 离线 存储 领域 的 应 用 开始 逐渐 广泛 ,虚拟 带 库 及 
光盘 镜像 的 制作 ,使 硬盘 在 原 有 的 大 容量 基础 上 具有 了 磁带 和 光盘 的 不 可 读 写 的 优点 。 
但 同时 硬盘 的 缺点 也 相对 明显 ,硬盘 的 抗震 、 抗 冲击 性 在 离线 存储 的 应 用 中 为 最 需 解 决 的 
问题 。 

离线 存储 相 比 在 线 存 储 和 近 线 存储 是 最 便宜 ,也 是 读 写 速度 最 慢 的 选择 ,离线 存储 介 
质 的 数据 在 读 写 时 是 顺序 进行 的 。 例 如 , 当 需 要 读 取 数据 时 ,需要 把 磁带 卷 到 头 ,再 进行 
定位 。 当 需要 对 已 写 入 的 数据 进行 修改 时 ,所 有 的 数据 都 需要 全 部 进行 改写 。 通 过 购买 
额外 的 磁带 和 光盘 ,离线 存储 具有 很 高 的 可 伸缩 性 ,其 价格 通常 也 比 近 线 存储 更 便宜 。 近 
线 和 离线 存储 面临 的 一 个 问题 是 存储 媒介 的 有 效 使 用 寿命 ,离线 存储 的 典型 产品 是 磁带 
和 CD/DVD,CD/DVD 的 公认 使 用 寿命 大 概 为 2 一 5 年 ,磁带 的 生命 周期 也 与 这 相近 。 接 
近 媒 介 使 用 寿命 极限 时 ,如 果 需 要 更 长 的 存储 周期 ,采用 的 方法 就 是 将 数据 存储 到 新 的 媒 
介 中 。 


4.3.4 日 志 存储 的 实际 应 用 


目前 的 日 志 存储 审计 平台 中 ,比较 流行 的 日 志 存 储 方式 是 将 在 线 存 储 、 近 线 存储 以 及 
离线 存储 3 种 存储 方式 联合 使 用 于 日 志 存 储 审计 平台 中 。360 公司 的 网 神 SecFox 日 志 
收集 与 分 析 系 统 具 有 海量 日 志 接收 和 存储 的 能 力 。 据 调查 已 使 用 用 户 反馈 显示 ,该 日 志 
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审计 系统 接收 日 志 数 据 的 速率 峰值 能 够 达到 约 30000 条 每 秒 ,并 以 平均 每 秒 6000 条 的 规 
模 处 理 和 关联 分 析 日 志 数据 。 除 此 之 外 ,SecFox 日 志 审 计 系统 还 支持 对 原始 安全 信息 数 
据 进行 全 文 检 索 ,支持 关键 字 查询 ,检索 保持 着 很 高 的 性 能 ,检索 百 万 条 数据 (折合 为 
1GB) 约 需 5s, 检 索 上 亿 条 数据 (折合 为 100GB) 所 需 时 间 小 于 60s。 

网 神 SecFox 日 志 收 集 与 分 析 系 统 在 日 志 审 计 系统 的 日 志 存 储 能 力 和 方式 方面 有 着 
独特 的 优势 。 一 般 的 日 志 审 计 系统 可 在 线 存储 约 千 万 级 别 的 日 志 记录 ,而 网 神 SecFox 
日 志 收 集 与 分 析 系 统 可 以 通过 在 线 存 储 的 方式 存储 多 达 亿 级 别 条 数 的 日 志 记录 ,这 相当 
于 管理 约 800GB 的 数据 量 。 在 实际 应 用 中 ,在 线 存储 是 指 日 志 收集 与 分 析 系 统 的 在 线 分 
析 系 统 中 ,用 户 可 以 随时 查询 和 分 析 这 些 数据 ,通过 关联 性 分 析 , 从 而 快速 ,准确 地 定位 出 
告警 所 在 位 置 , 查 明 告 警 原因 ; 除 此 之 外 ,在 线 挖掘 存储 功能 可 以 对 某 条 感 兴趣 的 日 志 中 
的 源 IP 地 址 、 目 的 IP 地址 ,或 者 目的 端口 进行 相关 性 日 志 检索 。 日 志 审 计 系统 中 的 离线 
存储 功能 可 以 将 系统 的 数据 进行 归档 , 留 作 数据 的 备份 ,可 以 保证 系统 的 安全 性 得 到 提 
高 。 一 些 不 是 经 常 使 用 的 但 是 需要 时 刻 保持 “待命 "的 数据 , 近 线 存 储 发 挥 了 巨大 的 优势 ， 
这 些 不 经 常 使 用 的 系统 数据 可 以 快速 被 系统 或 使 用 者 调 出 ,便于 进行 分 析 。 

网 神 SecFox 日 志 收 集 与 分 析 系 统 能 够 存储 的 数据 量 大 小 取决 于 服务 器 磁盘 存储 空 
间 的 大 小 。 目 前 市 面 上 的 日 志 审 计 系 统 绝 大 多 数 会 使 用 分 布 式 部 署 的 方案 进行 存储 , 通 
过 新 一 代 的 日 志 数 据 存储 和 处 理 系 统 , 使 得 海量 日 志 数据 存储 系统 具有 高 性 能 、 高 可 靠 
性 、 伸 缩 性 强 .容错 性 强 、. 设 备 使 用 率 高 .能 耗 使 用 率 高 等 特性 。 分 布 式 部 署 可 以 使 日 志 存 
储 性 能 得 到 很 大 的 提升 。 网 神 SecFox 日 志 收 集 与 分 析 系 统 除了 具备 分 布 式 部 署 的 方案 
外 ,同时 也 支持 单一 部 署 ,也 就 是 本 地 数据 库 的 存储 部 署 方式 。 除 此 之 外 ,网 神 SecFox 
日 志 收 集 与 分 析 系 统 提供 多 种 日 志 存 储 策 略 ,能 够 方便 地 进行 日 志 备份 和 恢复 。 

网 神 SecFox 日 志 收集 与 分 析 系 统 采用 的 优化 数据 存储 算法 可 以 使 得 在 使 用 小 型 数 
据 库 的 情况 下 也 能 达到 上 述 性 能 。 此 外 ,在 使 用 该 系统 的 时 候 , 无 须 购买 额外 的 数据 库 管 
理 系统 和 许可 ,如 大 规模 的 MySQL 数据 库 等 ,也 不 必 花 费 专门 的 精力 维护 这 些 数据 库 ， 
这 种 举措 可 以 大 大 降低 用 户 的 总 拥有 成 本 ,提高 产品 的 用 户 体验 。 


1. 简 述 一 些 日 志 存 储 策略 ,并 描述 关系 数据 库存 储 、 键 值 数 据 库 和 分 布 式 存储 的 优 


2. 存储 方式 主要 分 为 哪 几 种 ? 各 种 存储 方式 的 优 缺 点 分 别 是 什么 ? 
3. 简要 叙述 日 志 存储 格式 的 种 类 。 
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5.1 概述 


计算 机 技术 和 Internet 的 迅猛 发 展 ,加 速 了 全 球 信息 化 进程 ,互联 网 正在 走 进 千家 万 
户 , 在 人 们 的 日 常 工作 和 生产 生活 中 扮演 着 不 可 或 缺 的 角色 。 网 络 用 户 正在 以 指数 级 增 
长 ,网络 的 规模 也 越 来 越 大 ,与 此 同时 ,针对 网 络 的 恶意 攻击 活动 越 来 越 多 。 如 何 有 效 地 
保证 网 络 的 正常 运行 已 经 成 为 十 分 紧迫 的 问题 。 为 了 防止 恶意 入 侵 给 网 络 造成 破坏 , 造 
成 资源 的 丢失 ,网 络 管理 人 员 非 常 迫切 需要 能 够 准确 、 及 时 地 了 解 整个 网 络 的 当前 状态 及 
未 来 的 安全 趋势 ,及 时 发 现 攻击 和 危害 行为 ,并 进行 应 急 响 应 ,以 便 对 网 络 的 安全 设置 和 
资源 配置 制定 出 合理 的 应 急 策略 ,达到 事前 预防 .纵深 防御 的 目的 , 即 需要 对 网 络 安全 状 
态 进行 及 时 的 评估 和 对 未 来 发 展 态势 进行 预测 ,及 时 了 解 网 络 的 状况 。 网 络 安全 态势 评 
估 和 预测 越 来 越 受 到 人 们 的 关注 ,成 为 网 络 安全 管理 领域 研究 中 的 热点 问题 ,而 关联 分 析 
则 是 快速 定位 故障 和 入 侵 的 一 种 有 效 手段 。 

关联 分 析 又 称 关联 挖掘 ,就 是 在 关系 数据 或 其 他 信息 载体 中 ,查找 存在 于 对 象 集合 之 
间 的 关联 、 相 关 性 或 因果 结构 ,是 一 种 在 大 型 数据 库 中 发 现 变量 之 间 关系 的 方法 。 关 联 的 
含义 是 指 将 所 有 系统 中 的 事件 以 统一 格式 综合 到 一 起 进行 观察 。 

在 网 络 安全 领域 中 ,关联 分 析 是 指 对 网 络 全 局 的 安全 事件 数据 进行 自动 、 连 续 分 析 ， 
根据 用 户 定义 的 、 可 配置 的 规则 识别 网 络 威胁 和 复杂 的 攻击 模式 ,从 而 确定 事件 真实 性 、 
进行 事件 分 级 并 对 事件 进行 有 效 响应 。 关 联 分 析 可 以 用 来 提高 安全 操作 的 可 靠 性 ,减少 
漏 报警 、 误 报警 现象 ,以 及 在 海量 信息 中 提高 分 析 的 实时 性 ,并 为 安全 管理 和 应 急 响应 提 
供 技 术 手 段 。 现 有 的 安全 事件 的 关联 分 析 研 究 工作 可 分 为 如 下 几 类 。 


1. 聚合 分 析 

告警 聚合 分 析 过 程 的 主要 目的 是 减少 告警 数量 ,采用 相似 度 关联 算法 以 及 聚 类 、 分 类 
等 算法 对 原始 告警 进行 处 理 , 其 功能 包含 两 个 方面 : 一 是 把 同一 安全 事件 导致 的 多 条 告 
警 融合 为 一 条 告警 记录 ,大 大 减少 告警 数量 ;二 是 关联 不 同 网 络 安全 设备 针对 同一 安全 事 
件 报告 的 重复 告警 。 通 过 分 析 安全 事件 之 间 的 关联 关系 ,对 同类 和 相似 安全 事件 进行 合 
并 ,从 而 减少 安全 事件 的 数量 ,去 除 重复 和 元 余 信息 。 


2. 交叉 关联 
交叉 关联 (Cross Correlation) 主要 是 结合 背景 知识 (如 网 络 拓扑 信息 漏洞 信息 和 主 
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机 配置 信息 等 ) 提 高 告警 的 质量 ,主要 用 于 攻击 确认 和 风险 评估 。 在 “提高 告警 质量 ” 方 
面 ,主要 涉及 IDS 误 告警 的 去 除 以 及 告警 风险 的 评估 。 由 于 是 分 析 安 全 事件 和 其 他 背景 
知识 ,漏洞 信息 之 间 的 关联 关系 ,所 以 称 为 交叉 关联 。 


3. 多 步 攻击 关联 

由 于 现在 大 部 分 攻击 ,尤其 是 危害 巨大 的 攻击 都 是 多 步 攻击 ,而 安全 事件 通常 都 是 一 
个 单独 的 攻击 行为 ,因此 从 众多 安全 事件 中 找到 一 个 多 步 攻击 对 应 的 多 个 攻击 步骤 ,并 将 
它们 关联 起 来 也 是 安全 事件 关联 分 析 研究 领域 的 一 个 重要 研究 内 容 。 多 步 攻 击 关 联 又 可 
称 为 攻击 场景 构建 ,主要 研究 攻击 步骤 之 间 的 关联 关系 。 


4. 其 他 

安全 事件 关联 分 析 的 研究 中 还 有 一 些 问题 ,例如 ,体系 结构 .总体 构架 时间 一 致 性 问 
题 数据 格式 等 ,可 将 这 些 分 析 方 法 综合 归结 为 其 他 的 关联 分 析 方 法 类 。 

本 童 主要 介绍 关联 性 分 析 方 面 的 知识 ,包括 实时 关联 分 析 、 事 件 关 联 方 式 。 除 此 之 
外 ,还 介绍 与 关联 分 析 目 的 相关 的 告警 方面 的 知识 以 及 可 视 化 的 日 志 实 时 统计 分 析 。 


5.2 实时 关联 分 析 


随 着 网 络 及 其 应 用 的 发 展 ,传统 的 集中 分 析 日 志 的 安全 防护 策略 已 无 法 实时 解决 新 
兴 的 实时 威胁 ,如 何 准 确 而 又 快速 地 找到 系统 遭受 的 安全 问题 显得 格外 重要 。 对 于 有 和 危 
害 性 的 网 络 行为 ,应 该 及 时 主动 采取 相应 的 措施 ,以 减少 进一步 的 网 络 安全 事件 ,避免 网 
络 系统 遭受 到 进一步 的 威胁 。 例 如 , 某 个 节点 发 出 很 多 安全 事件 或 者 某 个 节点 不 断 受 到 
攻击 ,因此 应 该 高 度 重 视 并 检查 该 节点 的 情况 。 对 有 危害 的 网 络 行为 的 响应 类 似 于 传染 
病 的 防护 (隔离 或 清除 传染 源 、 切 断 传播 路 径 以 及 保护 易 感人 群 ): 隔离 或 清除 传染 源 , 即 
隔离 或 清除 有 危害 的 网 络 行为 源 ;切断 传 播 途径 , 即 切断 攻击 的 传播 通路 ,使 之 不 能 到 达 
攻击 目标 ;保护 易 感人 群 , 即 对 网 络 节点 进行 升级 、 加 固 等 , 尽 可 能 使 之 对 攻击 具有 抵抗 
力 。 网 络 安全 事件 的 实时 性 关联 分 析 是 解决 这 种 现状 的 关键 手段 之 一 。 除 此 之 外 ,当前 
网 络 安全 管理 者 还 面临 如 下 挑战 。 

(1) 安全 设备 和 网 络 应 用 产生 安全 事件 数量 巨大 , 漏 报 警 、 误 报警 现象 严重 。 一 台 
IDS 一 天 产生 的 安全 事件 数量 成 千 上 万 ,真正 存在 威胁 的 安全 事件 淹没 在 误 报信 息 中 , 难 
以 识别 。 大 量 元 余 告 警 日 志 的 存储 严重 影响 了 关联 性 分 析 的 时 效 性 。 

(2) 安全 事件 之 间 存 在 的 横向 和 纵向 方面 (如 不 同 空间 来 源 、 时 间 序 列 等 ) 的 关系 未 
得 到 综合 分 析 , 因 此 漏 报 严 重 。 一 个 攻击 活动 之 后 常常 接着 另 一 个 攻击 活动 ,前 一 个 攻击 
活动 为 后 者 提供 基本 条 件 ; 一 个 攻击 活动 在 多 个 安全 设备 上 产生 了 安全 事件 ;多 个 不 同 来 
源 的 安全 事件 其 实 是 一 次 协作 攻击 ,这 些 都 缺乏 有 效 的 综合 分 析 。 

(3) 安全 管理 者 缺乏 对 整个 网 络 安全 态势 的 全 局 实时 感知 能 力 。 

充分 利用 多 种 安全 设备 的 检测 能 力 生成 大 量 的 日 志 数据 ,这 些 数 据 集中 处 理 的 致命 
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弱点 是 待 分 析 的 数据 量 巨大 ,那些 庞大 宛 余 或 独立 分 散 的 安全 事件 显然 不 能 直接 作为 响 
应 依据 。 上 述 问题 的 根本 解决 途径 是 网 络 安全 事件 关联 实时 处 理 。 传 统 的 安全 日 志 审 计 
系统 先 将 不 同 信息 源 日 志 融 合 完毕 后 存 人 数据库 ,再 对 数据 库 中 的 日 志 信 息 进 行 关联 性 
分 析 ,发 掘 出 日 志 之 间 的 关系 ,找到 真正 的 外 部 入侵 和 内 部 违规 。 但 是 ,传统 的 日 志 审 计 
系统 无 法 进行 实时 性 分 析 , 它 必须 等 到 不 同 信息 源 的 日 志 存 人 数据 库 后 方 可 进行 分 析 , 对 
网 络 系统 日 志 的 存储 能 力 要 求 非常 高 ,同时 这 也 将 大 大 降低 发 现 安全 隐患 的 时 效 性 。 

相 比 于 传统 的 关联 性 分 析 , 实 时 关联 性 分 析 可 以 在 存储 已 处 理 日 志 的 同时 进行 关联 
性 分 析 。 经 过 收集 和 处 理 后 的 日 志 信 息 ,一 方面 将 日 志 存 人 数据 库 , 另 一 方面 同步 在 内 存 
中 进行 实时 关联 性 分 析 。 关 联 分 析 的 实时 性 确保 了 日 志 被 及 时 审计 ,同时 能 够 快速 发 现 
并 定位 安全 隐患 。 但 是 ,从 实时 性 上 看 ,关联 分 析 的 整个 过 程 不 能 间断 ,这 对 系统 的 实时 
性 要 求 较 高 。 除 此 之 外 ,普通 日 志 存 人 数据 库 较 容易 ,但 如 果 是 关联 引擎 实时 将 报警 存 人 
数据 库 中 , 则 比较 复杂 。 例 如 ,一 个 关联 规则 需要 在 1s 内 通过 SQL 语句 获取 10 条 数据 ， 
那么 关联 引擎 就 需要 实时 在 1s 内 进行 10 次 磁盘 存 取 ,这 导致 对 磁盘 读 写 频率 以 及 吞吐 
率 的 要 求 较 高 ,所 以 告警 关联 分 析 在 确保 实时 性 的 同时 ,也 要 注意 对 数据 库 吞 吐 率 的 重 
视 。 网 络 安全 中 的 关联 反馈 如 图 5-1 所 示 。 


一 | 网 络 行为 源 本 身 | 网络 行为 | 


或 其 起 作用 的 路 径 其 他 位 置 


被 攻击 者 


图 5-1 网 络 安全 中 的 关联 反馈 


5.3 事件 关联 方式 


实时 关联 分 析 的 核心 是 基于 安全 监测 .告警 和 相应 技术 的 事件 关联 分 析 引 擎 。 在 关 
联 规则 的 驱动 下 ,事件 关联 分 析 引 擎 能 够 进行 多 种 方式 的 事件 关联 ,包括 递归 关联 、 统 计 
关联 时 序 关联 、 跨 设备 事件 关联 等 。 本 节 主 要 介绍 这 几 种 典型 的 事件 关联 方式 。 


5.3.1 递归 关联 


递归 在 数学 与 计算 机 科学 中 的 含义 是 指 在 函数 定义 中 使 用 函数 自身 的 方法 。 递 归还 
较 常用 于 描述 以 自 相似 方法 重复 事物 的 过 程 。 例 如 , 当 两 面 镜子 相互 之 间 近 似 平行 时 , 镜 
中 嵌 套 的 图 像 是 以 无 限 递 归 的 形式 出 现 的 ,也 可 以 理解 为 自我 复制 的 过 程 。 递 归 关 联 指 
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的 是 以 递归 的 方式 进行 关联 性 分 析 , 即 自身 与 自身 发 生 关联 。 递 归 关 联 是 同一 类 实体 之 
间 的 一 种 关联 。 和 普通 关联 一 样 ,递归 关联 也 可 以 分 为 3 种 表达 形式 : 一 对 一 递归 关联 、 
一 对 多 递归 关联 和 多 对 多 递归 关联 。 

一 对 一 递归 关联 是 指 对 象 之 间 是 一 对 一 的 关系 。 例 如 ,图 5-2 给 出 的 一 对 一 递归 关 
联 示 例 图 表示 的 含义 是 两 个 人 是 一 对 一 的 关联 关系 ,但 是 对 象 都 出 自 于 人 类 这 一 个 大 的 
集合 中 ,相同 对 象 之 间 产生 了 递归 的 关联 ,这 个 案例 就 是 最 简单 的 一 对 一 关联 关系 。 

一 对 多 递归 关联 的 含义 是 同一 个 类 对 象 中 存在 一 个 实体 对 应 关联 多 个 实体 。 图 5-3 
是 一 个 典型 的 一 对 多 递归 关联 的 实例 ,一 个 消费 者 购买 某 件 商品 ,如 果 该 商品 给 消费 者 带 
来 良好 的 用 户 体验 ,此 消费 者 会 将 该 商品 推荐 给 身边 同 为 消费 者 的 其 他 人 ,这 就 是 一 个 典 
型 的 一 对 多 的 递归 关联 案例 。 

多 对 多 递归 关联 指 的 是 实体 中 关联 的 关系 是 多 对 多 ,如 图 5-4 所 示 。 例 如 ,在 医院 
中 ,同一 科室 的 医生 面 对 不 同 的 病人 是 多 对 多 的 关联 关系 ,有 时 医生 本 人 也 因为 自身 身体 
的 不 适 去 就 医 ,这 就 产生 医生 这 一 类 中 的 递归 关联 关系 。 


REFERED-BY TREATED-BY 
1 i | 
PERSON CUSTOMER DOCTOR 
图 5-2 一 对 一 关联 图 5-3 一 对 多 关联 图 5-4 多 对 多 关联 


递归 关联 对 自身 在 时 序 上 进行 关联 性 分 析 ,可 以 深度 挖掘 不 同时 间 段 自身 告警 之 间 
的 关联 度 , 从 而 快速 .准确 地 定位 设备 或 者 网 络 中 的 故障 所 在 。 


5.3.2 统计 关联 


在 关联 规则 挖掘 中 ,统计 学 一 直 扮演 着 相当 重要 的 角色 。 关 联 规则 挖掘 的 过 程 可 以 
分 为 两 个 子 问题 : 一 是 产生 大 的 项 目 集 ; 二 是 产生 强 关 联 规 则 。 对 于 第 一 个 问题 ,算法 的 
复杂 性 是 瓶颈 ,因为 所 挖掘 出 的 频繁 集 的 数目 和 项 目的 数目 呈 指 数 级 增长 。 所 幸 ,对 此 目 
前 已 经 提出 了 许多 基于 统计 学 的 有 效 挖 掘 算法 , 且 这 些 算 法 都 能 在 满足 挖掘 精确 度 的 基 
础 上 提高 算法 的 运行 速度 和 效率 。 对 于 第 二 个 问题 ,目前 的 研究 不 多 ,主要 原因 是 在 产生 
强 关 联 的 同时 ,基于 统计 学 的 关联 规则 挖掘 没有 被 进一步 利用 。 通 过 基于 统计 学 的 关联 
规则 挖掘 ,从 大 型 数据 库 中 发 现 大 量规 则 ,是 知识 发 现 的 重要 内 容 。 统 计 学 与 数据 的 关联 
挖掘 有 密 不 可 分 的 联系 。 

(1) 数据 关联 挖掘 虽 不 同 于 统计 分 析 , 但 许多 挖掘 技术 又 来 源 于 统计 分 析 。 

数据 的 关联 挖掘 中 有 许多 工作 都 可 以 由 统计 方法 完成 ,如 回归 抽样 等 。 通 常 的 数据 
挖掘 工具 都 能 够 通过 可 选 软件 或 自身 提供 统计 分 析 功 能 。 这 些 功 能 对 于 数据 关联 挖掘 前 
期 数据 探索 和 挖掘 之 后 对 数据 进行 总 结 和 分 析 都 是 十 分 必要 的 。 统 计 分 析 提 供 的 诸如 方 
差分 析 、 假 设 检验 、 相 关 性 分 析 、 线 性 预测 .时 间 序 列 分 析 等 功能 都 有 助 于 数据 关联 挖掘 前 
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期 对 数据 进行 探索 , 找 出 数据 挖掘 的 目标 、 确 定数 据 挖掘 所 需 涉及 的 变量 、 对 数据 源 进行 
抽样 等 。 所 有 这 些 前 期 工作 对 数据 挖掘 的 效果 产生 重大 影响 。 而 数据 关联 挖掘 的 结果 也 
需要 运用 统计 分 析 的 描述 性 指标 (如 最 大 值 、 最 小 值 平 均值 方差 等 ) 进 行 具 体 描述 ,以 使 
数据 挖掘 的 结果 能 够 被 用 户 了 解 。 因 此 ,统计 分 析 和 数据 关联 挖掘 是 紧密 结合 的 过 程 ,两 
者 的 合理 配合 是 数据 关联 性 挖掘 成 功 的 重要 条 件 。 

(2) 数据 关联 挖掘 不 是 为 了 替代 传统 的 统计 分 析 技术 ,相反 .数据 关联 挖掘 是 统计 分 
析 方 法 的 扩展 和 延伸 。 

大 多 数 的 统计 分 析 技 术 都 基于 完善 的 数学 理论 和 高 超 的 技巧 ,其 预测 的 准确 程度 令 
人 相对 满意 ,但 对 使 用 者 的 知识 要 求 比较 高 。 而 随 着 计算 机 能 力 的 不 断 发 展 ,数据 关联 挖 
据 可 以 利用 相对 简单 和 固定 程序 完成 同样 的 功能 。 新 的 计算 算法 的 产生 ,如 神经 网 络 、 决 
策 树 等 ,使 人 们 不 需要 了 解 其 内 部 复杂 原理 ,也 可 以 通过 这 些 方法 获得 良好 的 关联 性 规则 
的 挖掘 。 

(3) 数据 关联 挖掘 的 出 现 为 统计 学 提供 了 一 个 多 新 的 应 用 领域 ,也 对 统计 学 的 理论 
研究 提出 了 挑战 。 

数据 关联 挖掘 的 方法 主要 是 一 些 机 器 学 习 算 法 ,包括 决策 树 、 关 联 分 析 、 人 工 神 经 网 
络 等 。 近 些 年 ,统计 学 的 加 盟 使 这 些 方法 焕发 出 勃勃 生机 , 现 有 的 机 器 学 习 算法 均 离 不 开 
统计 学 知识 ,数据 关联 挖掘 技术 有 相当 大 的 比重 是 由 高 等 统计 学 中 的 多 变量 分 析 支 撑 的 。 

(4) 统计 学 与 数据 关联 挖掘 的 结合 日 益 紧 密 。 

统计 学 与 数据 库 、 人 工 智能 一 起 作为 数据 关联 挖掘 的 3 个 强大 支柱 , 它 在 计算 机 发 明 
之 前 就 诞生 了 。 

统计 学 在 数据 关联 挖掘 方法 创新 方面 做 出 了 极 大 的 贡献 ,如 统计 理论 在 人 工 神经 网 
络 技 术 中 的 应 用 一 一 概率 分 析 网 (PLN) ,统计 思想 在 数据 挖掘 学 习 方法 上 的 贡献 一 一 贝 
叶 斯 网 络 ,统计 学 在 遗传 算法 中 的 应 用 一 一 概率 进化 算法 (PEMA)。 数 据 关 联 挖掘 正 是 
利用 了 统计 学 和 人 工 智 能 等 技术 的 应 用 程序 ,把 这 些 复杂 的 技术 封装 起 来 ,解决 自己 的 
问题 。 

统计 关联 的 实质 是 两 个 事件 在 统计 学 概念 上 的 相互 关联 ,是 一 种 基于 某 种 分 布 . 可 以 
通过 统计 的 方法 显示 不 同 数据 子 集 之 间 关系 的 规则 , 它 为 其 他 关联 规则 的 生成 提供 统计 
确认 其 有 效 性 。 统 计 关 联 规则 的 优点 是 不 需要 将 数据 离散 化 ,因为 离散 化 过 程 可 能 会 导 
致 信息 丢失 ,往往 扭曲 挖掘 算法 的 计算 结果 。 

统计 关联 最 常用 于 一 些 统计 数值 上 存在 关联 的 案例 中 。 例 如 ,在 自然 语言 处 理 领 域 
中 ,英语 的 文学 作品 存在 着 统计 关联 的 关系 。 不 同时 代 的 作品 看 似 在 内 容 的 选材 、 所 处 年 
代 上 都 不 存在 关联 ,因此 可 能 认为 不 同 作 品 单词 的 组 合 也 不 存在 关联 性 。 但 是 ,通过 统计 
关联 分 析 发 现 ,字母 之 间 呈 现 较 强 的 相关 性 ,不 同 的 作品 其 词汇 的 组 成 具有 较 强 的 统计 关 
联 性 ,这 也 为 后 来 自然 语言 处 理 领 域 的 发 展 葛 定 了 坚实 的 基础 。 由 此 可 见 ,统计 关联 在 事 
件 关联 中 起 着 重要 的 作用 。 

在 网 络 安全 方面 ,基于 统计 的 关联 性 分 析 是 指定 义 一 些 大 的 安全 事件 类 别 ,将 出 现 的 
事件 先 归 类 ,然后 根据 各 大 类 在 一 段 时 间 内 出 现 的 事件 安全 级 别 和 数量 用 权 值 评估 攻击 
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和 关联 性 。 分 析 这 些 权 值 可 以 确定 发 生 这 种 类 型 攻击 的 危险 程度 ,同时 可 将 多 次 统计 得 
到 的 高 安全 级 别 、 已 确定 为 攻击 或 入 侵 的 事件 再 定义 为 规则 ,以 此 丰富 规则 库 。 


5.3.3 时序 关 联 


时 间 序 列 是 指 按时 间 顺 序 排列 的 随时 间 变 化 的 数据 集合 。 这 些 数据 通常 是 等 时 间 间 
隔 测 得 的 数值 ,在 经 济 .技术 的 很 多 领域 都 广泛 存在 ,如 股票 每 日 波动 .科学 实验 、 医 疗 等 。 
随 着 信息 技术 的 广泛 使 用 ,人 类 拥有 的 时 间 序 列 信息 量 急 剧 增加 。 针 对 这 些 海量 历史 时 
序数 据 ,如何 利 用 新 的 技术 方法 将 其 转化 为 可 靠 的 知识 信息 ,提高 人 类 对 未 来 的 预测 能 力 
以 及 对 未 来 事件 的 提前 控制 能 力 ,一 直 受 到 人 们 的 密切 关注 。 关 于 时 间 序 列 的 分 析 , 可 以 
用 很 多 直观 的 方法 检测 时 间 序 列 中 存在 的 变化 。 实 际 的 时 间 序 列 数据 有 时 要 作 某 种 形式 
的 变换 ,这 样 做 不 但 可 以 稳定 时 间 序 列 变化 ,而 且 可 以 解决 数据 的 维度 灾难 问题 。 时 间 序 
列 时 序 关 联 规则 挖掘 如 图 5-5 所 示 。 


ne | 数据 压缩 规则 获取 评价 解释 
步 - -和 -和 -本 -十 
a 干净 数据 模式 序列 时 序 关联 规则 知识 


图 5-5 时 间 序 列 时 序 关联 规则 挖掘 


在 关联 规则 挖掘 的 研究 历程 中 ,一 个 新 的 关联 规则 挖掘 问题 一 -时序 关联 规则 挖掘 
被 Agrawal 等 人 提出 。 该 挖掘 算法 最 初 的 应 用 是 商品 关联 性 分 析 , 当 时 的 输入 数据 是 一 
系列 的 序列 ,被 称 为 数据 序列 。 每 个 数据 序列 都 由 一 系列 交易 记录 构成 ,每 个 交易 记录 由 
一 系列 商品 构成 ,并 且 每 个 交易 记录 都 会 有 一 个 交易 时 间 。 时 序 规则 由 一 系列 商品 构成 ， 
时 序 关 联 规则 挖掘 的 目的 就 是 发 现 满足 最 小 支持 度 的 时 序 规则 。 
时 序 挖掘 的 研究 最 初 是 由 零售 业 中 的 相关 应 用 驱动 的 ,但 是 研究 的 结果 被 应 用 到 许 
多 科学 和 商业 领域 。 举 例 来 说 ,在 一 个 图 书 超市 的 数据 库 中 ,每 个 数据 序列 对 应 一 个 顾客 
的 所 有 图 书 选择 ,每 条 交易 记录 对 应 一 个 顾客 在 一 次 订购 中 的 图 书 清单 。 一 个 时 序 规则 
可 能 是 “5% 的 学 生 购 买 网 络 安全 教材 ,接着 会 购买 防火 墙 技术 及 应 用 教材 ,再 接着 会 购买 
黑客 攻防 从 入 门 到 精通 教材 "。 时 序 规则 里 的 元 素 可 以 是 一 系列 的 商品 ,如 “网 络 安 全 教 
材 和 防火 墙 技术 及 应 用 教材 ,接着 黑客 攻防 从 入 门 到 精通 教材 ”。 
时 序 关联 规则 就 是 对 时 序数 据 库 采 用 某 种 数据 挖掘 算法 ,得 到 具有 时 间 约 束 的 关联 
规则 。 与 一 般 的 布尔 型 关联 规则 最 大 的 区 别 在 于 ,时 序 关联 规则 与 时 间或 时 态 密 切 相关 。 
时 序 关 联 是 指 对 某 一 长 度 固 定 的 序列 进行 分 段 处 理 , 分 段 之 后 ,将 每 个 分 段 内 各 个 序 
列 项 对 应 的 顺序 时 间 位 置 作为 不 同 的 属性 集合 ,并 给 出 每 个 属性 划分 的 阔 值 区 间 ,再 将 每 
个 分 段 的 时 序 进行 关联 性 分 析 ,这 就 是 时 序 关 联 的 步骤。 关联 规则 挖掘 中 采用 的 Apriori 
特性 可 用 于 时 序 关联 规则 的 挖掘 ,因为 若 长 度 为 上 的 时 序 关联 规则 是 非 频繁 项 ,那么 其 超 
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集 (长 度 为 k 十 1) 不 可 能 是 频繁 项 。 因 此 ,时 序 关联 规则 的 大 部 分 都 采用 了 Apriori 系列 
算法 的 变 体 ,虽然 考虑 的 参数 设置 和 约束 都 有 所 不 同 。 另 一 种 挖掘 此 类 规则 的 方法 是 基 
于 数据 库 投影 的 序列 模式 生长 技术 ,类 似 于 无 候选 生成 的 频繁 模式 挖掘 的 频繁 模式 增 
长 法 。 


5.3.4 跨 设 备 事件 关联 


跨 设备 事件 关联 规则 ,是 指 将 不 同 设备 间 的 告警 信息 做 关联 ,利用 告警 在 设备 之 间 具 
有 传递 的 功能 ,从 而 发 现 不 同 设备 之 间 的 关联 规则 ,便于 快速 定位 故障 所 在 位 置 。 

跨 设备 事件 关联 技术 通过 跨 设备 收集 而 来 的 数据 进行 严密 的 关联 分 析 , 从 而 更 好 地 
了 解 看 似 无 关 的 ,但 设备 之 间 存 在 着 理论 相关 性 的 关联 分 析 。 当 数据 分 组 从 一 个 设备 传 
送 到 另 一 个 设备 中 时 ,由 于 保持 着 时 间 的 顺序 性 ,所 以 可 以 通过 分 析 与 两 种 设备 均 相 关 的 
告警 方面 的 知识 进行 关联 性 分 析 ,从 而 更 快 ,更 准确 地 定位 出 故障 所 在 位 置 。 


5 ”告警 响应 


5.4.1 告警 响应 介绍 


在 实际 的 网 络 中 ,一 个 故障 的 产生 往往 会 引发 多 个 告警 事件 。 告 警 出 现 的 突然 性 和 
不 可 预测 性 很 强 , 致 使 准确 .及 时 地 分 离 和 定位 产生 告警 的 根源 很 重要 ,也 非常 困难 。 而 
且 , 随 着 网 络 的 复杂 性 和 应 用 水 平 的 不 断 提 高 ,告警 的 种 类 和 数量 会 越 来 越 多 ,不 同 的 网 
络 之 间 存 在 较 大 的 差异 。 网 络 还 会 频繁 地 发 生 改变 。 例 如 ,功能 部 件 的 增添 、 修 改 、 替 换 
等 。 在 网 络 的 告警 数据 库 中 保存 着 大 量 的 历史 告警 数据 ,这 些 告警 数据 或 者 信息 不 完整 、 
或 者 包含 较 多 的 元 余 信息 ,但 其 中 却 蕴含 着 一 些 有 价值 的 信息 。 为 了 找 出 告警 中 有 价值 
的 信息 ,以 便 准确 进行 网 络 故障 定位 和 诊断 ,需要 对 大 量 的 告警 数据 进行 相关 性 分 析 , 即 
通过 屏蔽 不 必要 的 或 者 不 相关 的 告警 ,减少 告警 干扰 ,快速 进行 网 络 的 故障 诊断 和 定位 。 
告警 关联 性 分 析 实 质 上 就 是 对 来 自 一 个 或 多 个 告警 源 的 告警 信息 进行 过 滤 、 压 缩 、 泛 化 、 
分 类 和 模式 匹配 ,以 便 进行 故障 识别 和 重大 故障 的 预测 。 所 以 ,要 想 准 确定 位 故障 ,除了 
选择 合适 的 基于 数据 挖掘 的 告警 相关 性 分 析 算 法 ,也 要 全 面 了 解 告警 的 方式 , 即 如 何 响应 
报警 以 及 告警 的 查询 方式 .告警 的 存储 等 。 最 后 ,将 分 析 结 果 应 用 到 告警 相关 性 分 析 系 统 
中 ,以 实现 网 络 故障 的 识别 和 重大 故障 的 预测 。 全 方位 地 了 解 告警 的 知识 有 助 于 快速 进 
行 告警 关联 性 分 析 。 

在 网 络 安全 领域 中 ,信息 通信 网络 各 种 数据 信息 业务 的 需求 成 为 网 络 告警 不 可 避免 
的 重要 增长 因素 ,同时 具有 数据 总 量 庞 大 、 突 发 告警 波动 ,网络 传播 效应 、 积 累 效应 与 滞后 
效应 .故障 信息 元 余 等 特点 。 通 过 告警 特征 分 析 将 有 助 于 告警 之 间 的 关联 规则 挖掘 分 析 。 
具体 来 说 ,告警 的 特点 主要 有 以 下 3 点 。 

(1) 数据 总 量 庞大 , 误 报 率 高 。 信 息 通 信和 网 络 业 务 种 类 多 样 化 、 网 络 规模 延展 化 、 拓 
80 


Eeeas 第 5 章 关联 分 析 mm 


扑 结构 紧密 化 以 及 网 管 监控 集中 化 等 特点 ,导致 现行 网 络 的 告警 和 故障 数量 庞大 。 

(2) 突 发 告警 波动 ,告警 信息 琐碎 。 从 告警 监控 管理 角度 而 言 , 网 络 设备 故障 告警 具 
有 一 定 的 不 可 预见 性 。 核 心 设备 死机 将 造成 与 之 交互 信息 的 整个 网 络 大 面积 瘫痪 ,告警 
激增 不 可 避免 ; 同 理 ,如 果 故 障 及 时 得 到 维护 与 处 理 , 告 警 量 将 在 短 时 间 内 消除 。 例 如 ,网 
络 管理 系统 发 现 有 外 来 人 侵 导 致 系统 某 处 产生 告警 ,相关 设备 上 将 出 现 告警 , 当 告警 被 发 
现 并 及 时 处 理 后 ,告警 将 会 消失 。 

(3) 故障 信息 元 余 。 单 一 故障 产生 的 告警 会 导致 网 络 设备 关联 部 件 报 警 ,因此 需要 
从 多 个 告警 中 找 出 根源 问题 的 告警 。 

这 样 的 告警 信息 直接 影响 对 故障 或 攻击 的 分 析 和 及 时 响应 ,也 将 占用 大 量 的 处 理 时 
间 。 下 文 以 告警 响应 为 核心 ,依次 介绍 告警 产生 的 表现 方式 .告警 的 响应 方式 以 及 如 何 进 
行 告警 的 查询 。 


5.4.2 ”告警 方式 


网 络 告警 是 通信 设备 运行 异常 时 触发 的 消息 (如 设备 板 件 故障 、 设 备 壳 体 通风 散热 不 
畅 导致 温度 过 高 .网络 被 入 侵 产 生 告 警 等 ) ,每 条 告警 消息 均 表 征 其 唯一 的 运行 状态 。 由 
于 各 设备 三 家 不 同类 型 系统 设备 的 告警 消息 机 制 和 内 容 含义 存在 差异 ,因此 无 法 对 全 行 
业 网 络 设备 进行 统一 、 标 准 、 规 范 的 要 求 , 但 是 可 以 通过 特定 的 标准 化 字段 进行 规范 。 一 
般 的 网 管 系统 告警 标准 化 字段 是 网 管 系统 中 通用 的 一 些 字段 ,如 设备 告警 发 生 时 间 ,设备 
告警 消除 时 间 等 一 系列 字段 。 

在 网 络 设备 中 ,告警 主要 以 短信 告警 方式 、 多 媒体 语音 告警 方式 、 邮 件 告 警方 式 ,发 送 
SNMP Trap ,通知 方式 告警 以 及 传输 文本 日 志方 式 告知 网 络 安全 管理 人 员 。 其 中 ,多 媒 
体 语 音 告警 (如 电话 告警 ) 以 及 短信 告警 是 以 最 直接 ,快捷 的 告警 形式 告知 管理 人 员 设 备 
出 现 故 障 , 但 管理 人 员 往 往 并 不 能 及 时 得 到 故障 出 现 的 原因 和 故障 类 型 。SNMP Trap 和 
通知 告警 方式 日志 告 警 和 邮件 告警 方式 主要 通过 网 络 的 形式 告知 管理 人 员 ,告警 内 容 丰 
富 , 但 存 有 大 量 元 余 告 警 信息 ,因此 分 析 起 来 复杂 、 耗 时 。 

电话 告警 是 指 在 系统 发 生 告 警 信息 时 ,通过 网 络 IP 电话 拨号 拨打 工作 管理 人 员 的 手 
机 号 码 。 一 般 网 络 设备 的 语音 电话 盒 与 计算 机 或 者 网 管 系统 组 合 使 用 ,通过 计算 机 向 请 
音 电话 盒 发 送 要 拨打 的 电话 号 码 和 语音 代码 ,电话 盒 收 到 数据 后 拨打 对 应 的 号 码 ,并 把 请 
音 代码 转换 成 音频 信号 , 当 电话 打通 后 发 送 语音 。 如 果 电话 拨号 失败 ,电话 盒 会 把 信息 返 
回 给 网 络 设备 或 计算 机 。 电 话 告警 适合 远 距 离 语音 播报 。 

如 果 网 络 设备 中 带 有 支持 通信 信息 传输 的 芯片 或 手机 电话 卡 时 ,还 可 以 通过 短信 告 
警 的 方式 告知 管理 人 员 , 即 系统 报警 时 ,短信 模块 会 通过 手机 卡 发 短信 提示 工作 人 员 。 操 
作 人 员 可 以 通过 短信 的 方式 授权 网 络 设备 中 的 SIM 卡 并 设置 短信 提示 格式 , 若 设备 发 生 
告警 ,网 络 设备 会 将 短信 发 至 管理 人 员 的 手机 端 。 短 信 告 警 更 适合 一 些 不 影响 系统 短 时 
间 内 正常 运行 的 告警 播报 。 

。 简单 网 络 管理 协议 (SNMP) 是 TCP/IP 协议 簇 的 一 部 分 , 它 使 网 络 设备 之 间 能 够 

方便 地 交换 管理 信息 ,能 够 让 网 络 管理 员 管 理 网 络 的 性 能 ,发 现 和 解决 网 络 问 题 ， 
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及 时 进行 网 络 的 扩充 。 目 前 ,SNMP 已 成 为 网 络 管理 领域 中 事实 上 的 工业 标准 ， 
并 得 到 广泛 支持 和 应 用 ,大 多 数 网 络 管理 系统 和 平台 都 是 基于 SNMP 的 。 
文本 日 志 告 警方 式 以 日 志 的 方式 存储 在 设备 内 部 ,网 络 安全 管理 人 员 通 过 设备 导出 
或 者 网 络 传输 方式 传输 网 络 安全 日 志 , 对 日 志 进 行 分 析 , 从 而 定位 故障 。 日 志 告 警 主要 以 
属性 的 键 值 对 形式 呈现 给 网 络 安全 管理 人 员 ,每 条 日 志 告 警 的 种 类 分 为 简单 告警 和 复杂 
告警 。 两 种 告警 方式 的 定义 如 下 。 


1. 简单 告警 

<<SimpleAlert > = ~ AlertId >, 二 AlertTypeld > , < Time>, < Source>， 
<InformationList> ,<RiskLevel> ,=Confidence> 

简单 告警 由 一 个 七 元 组 构成 并 唯一 确定 ,该 七 元 组 包括 告警 ID, 用 于 唯一 确定 一 条 
告警 ,一 般 使 用 GUId 保证 告警 在 整个 安全 域 的 唯一 性 ;告警 类 型 ID, 标 志 告 警 的 类 型 ， 
是 用 于 告警 关联 的 关键 字段 ,用 以 区 分 发 生 告警 的 设备 类 型 和 告警 类 型 ,通常 可 以 用 一 个 
6 位 字符 串 标识 (AA-BB-CC) ,前 两 位 表示 告警 产生 的 设备 类 型 (如 主机 、 防 火 墙 等 ), 中 间 
两 位 表示 告警 大 类 (如 拒绝 服务 类 攻击 ,扫描 类 攻击 ,渗透 类 攻击 .主机 高 危 事件 等 ) ,最 后 
两 位 表示 告警 细 类 ;告警 发 生 时 间 ;告警 来 源 ,产生 告警 的 设备 ;详细 信息 列表 ,不 同类 型 
的 告警 具有 不 同 数据 结构 的 详细 信息 列表 ,如 主机 文件 操作 告警 包含 操作 者 、 文 件 名 、 操 
作 方 式 等 信息 ,入 侵 检 测 事件 包含 源 地 址 、 目 的 地 址 等 信息 ;危险 级 别 , 告 警 的 严重 程度 ; 
置信 度 ,告警 发 生 的 概率 由 历史 告警 数据 库 统 计 得 到 。 


2. 复杂 告警 

ComplexAlert > = = Alertld>, = AlertTypeld >, = StartTime>, = EndTime>， 
SourceList> ,<InformationList> ,<RList> ,<RiskLevel> ,< Confidence> 

复杂 告警 由 一 个 九 元 组 构成 并 唯一 确定 ,该 九 元 组 包括 告警 ID; 告警 类 型 ID; 告 敬 开 
始 时 间 告警 结束 时 间 ,标志 从 触发 关联 的 第 一 条 告警 到 关联 结束 的 最 后 一 条 告警 的 时 间 
段 ;告警 来 源 列表 , 指 被 关联 的 简单 告警 的 告警 来 源 的 集合 ;详细 信息 列表 , 指 被 关联 的 简 
单 告警 详细 信息 的 集合 ;参数 表 , 高 级 告警 融合 过 程 中 使 用 的 参数 ,如 时 间 窗 口 ;危险 级 
别 ,告警 的 严重 程度 ;置信 度 ,告警 发 生 的 概率 ,由 历史 告警 数据 库 统计 以 及 贝 叶 斯 网 络 计 
算得 到 。 

通过 上 面 的 介绍 ,可 以 了 解 到 网 络 的 多 种 告警 方式 , 当 仪器 接收 到 告警 时 ,网 络 设备 
也 会 有 相应 的 响应 方式 和 策略 。 


5.4.3 响应 方式 
当 网 络 设备 遭遇 攻击 或 是 有 故障 时 ,设备 会 以 告警 的 方式 将 警报 传送 给 管理 人 员 ,与 
此 同时 ,网 络 安全 设备 会 对 告警 信息 做 出 响应 。 常 见 的 告警 响应 方式 有 执行 告警 命令 脚 


本 ,不 同安 全 系统 联动 和 发 送 Syslog 消息 给 网 络 安 全 管理 人 员 等 。 本 节 将 围绕 3 种 典型 
的 方式 描述 告警 的 响应 方式 。 
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1. 执行 告警 命令 脚本 

告警 发 生 后 ,网 络 设备 或 计算 机 结合 脚本 语言 的 解释 执行 的 灵活 性 ,用 脚本 语言 制作 
应 用 程序 ,向 网 络 管理 人 员 发 送 告警 信息 或 在 必要 的 时 候 关闭 相应 的 设备 模块 ,从 而 避免 
网 络 设备 遭遇 毁灭 性 打击 。 首 先 , 简 要 介绍 一 下 脚本 语言 的 概念 。 计 算 机 语言 是 为 了 实 
现 各 种 目的 和 完成 任务 而 开发 的 。 脚 本 语言 又 叫 动态 语言 ,是 一 种 编程 语言 ,用 来 控制 软 
件 应 用 程序 ,通常 以 文本 (如 ASCID 保 存 ,只 在 被 调用 时 进行 解释 或 编译 。 大 多 脚本 语言 
的 共性 是 : 良好 的 快速 开发 ,高 效率 的 执行 ,解释 而 非 编译 执行 ,和 其 他 语言 编写 的 程序 
组 件 之 间 通 信 功 能 很 强大 。 有 些 脚 本 是 为 了 特定 领域 设计 的 ,但 通常 脚本 都 可 以 写 得 更 
通用 。 大 型 项 目 中 经 常 把 脚本 和 其 他 低级 编程 语言 一 起 使 用 ,发 挥 各 自 的 优势 解决 特定 
问题 。 脚 本 经 常用 于 设计 互动 通信 , 它 有 许多 可 以 单独 执行 的 命令 ,可 以 做 很 高 级 的 操 
作 , 这 些 高 级 操作 命令 简化 了 代码 编写 的 过 程 。 在 更 低级 或 非 脚本 语言 中 ,内 存 及 变量 管 
理 和 数据 结构 等 耗费 人 工 ,解决 一 个 特定 问题 需要 大 量 代码 。 

综 上 所 述 , 脚 本 编程 速度 更 快 , 且 脚 本 文件 明显 小 于 常用 编程 语言 生成 的 程序 文件 。 
在 网 络 设备 或 者 计算 机 运 维 过 程 中 ,经 常 需要 对 网 络 设备 的 各 种 资源 进行 监控 ,如 网 络 设 
备 内 存 洲 出 ,检测 进程 CPU 利用 率 , 系 统 出 现 异常 或 遭受 攻击 时 的 及 时 报警 ,需要 通知 
管理 员 等 。Shell 脚本 语言 可 以 在 网 络 设备 的 某 个 指标 超过 阔 值 发 生 告警 后 提供 给 网 络 
安全 管理 员 发 送 邮件 ,短信 的 功能 。 这 是 在 告警 产生 后 ,网 络 设备 响应 告警 的 一 种 典型 
方式 。 


2. 系统 联动 

随 着 计算 机 通信 技术 的 进步 ,网 络 恶意 行为 日 趋 复 杂 和 多 样 , 越 来 越 多 的 研究 工作 关 
注 多 网 络 安全 设备 的 融合 和 协同 ,以 应 对 大 规模 分 布 式 网 络 安全 事件 。 例 如 ,美国 加 州 大 
学 Davis 分 校 在 20 世纪 90 年 代 就 研发 了 分 布 式 人 侵 检测 系统 (Distributed Intrusion 
Detection System,DIDS) ,把 分 散 部 署 的 若干 个 网 络 监视 器 和 主机 监视 器 收集 的 信息 送 
到 中 心 节点 DIDS Director, 利 用 多 个 网 络 设备 的 联动 进行 集中 分 析 处 理 等 。 这 些 研 究 工 
作 针 对 告警 信息 的 来 临 ,主要 利用 网 络 设备 的 联动 对 告警 进行 实时 的 响应 。 

现在 复杂 的 网 络 应 用 环境 和 多 样 的 攻击 与 人 侵 手 段 使 信息 系统 面临 的 安全 威胁 越 来 
越 大 ,安全 问题 日 益 突 出 ,使 得 孤立 的 安全 设备 难以 有 效应 对 ,它们 仍 停留 在 “ 单 兵 作战 ” 
的 局 面 ,只 能 对 网 络 形成 孤立 ,静态 、 单 一 的 防护 。 要 消除 日 益 复 杂 的 网 络 安全 威胁 ,需要 
从 系统 全 局 、 从 整体 和 设备 联动 的 角度 解决 网 络 安全 问题 ,依据 统一 的 安全 策略 ,以 安全 
管理 为 核心 ,形成 完整 的 系统 安全 防护 体系 。 

联动 从 本 质 上 来 说 ,是 安全 产品 之 间 的 一 种 信息 互通 机 制 ,其 理论 基础 是 : 安全 事件 
的 意义 不 是 局 部 的 ,将 安全 事件 及 时 通告 给 相关 安全 系统 ,有 助 于 从 全 局 范围 评估 安全 事 
件 的 危险 ,并 在 适当 位 置 采取 动作 。 它 不 仅 局 限于 防火 墙 与 人 侵 检 测 之 间 , 还 涉及 很 多 其 
他 的 安全 部 件 , 只 要 在 某 个 节点 发 生 了 安全 事件 ,无 论 是 一 个 简单 系统 捕捉 到 的 原始 事 
件 ,还 是 一 些 具有 分 析 能 力 的 系统 判断 出 来 的 , 它 都 可 能 需要 将 这 个 事件 通过 某 种 机 制 传 
递 给 相关 的 系统 。 这 里 的 机 制 即 能 支持 众多 安全 设备 的 某 种 开放 协议 等 。 


83 


日 志 审 计 与 分 析 mw 


联动 技术 的 提出 体现 了 智能 化 网 络 安全 管理 的 潮流 , 它 能 够 有 机 整合 各 种 网 络 安全 
技术 ,全 面部 署 网 络 安全 防御 体系 ,有 效 提升 网 络 性 能 。 通 过 联动 使 各 安全 设备 做 到 资源 
整合 ,协同 工作 ,产生 “1 十 1 之 2” 的 合力 。 

网 络 安全 的 设备 联动 是 根据 事先 设 定 的 工作 任务 ,协调 多 种 类 型 网 络 设备 共同 合作 ， 
利用 这 些 设备 提供 的 信息 ,挖掘 、 分 析 各 种 异常 网 络 行为 。 当 前 ,网 络 攻击 行为 已 经 逐步 
向 高 层 转移 ,攻击 者 不 再 利用 操作 系统 和 网 络 设备 本 身 安全 问题 入侵 和 攻击 ,而 是 将 攻击 
的 目标 转向 高 层 应 用 。 与 此 同时 ,目前 常见 的 网 络 攻击 手法 也 融合 了 多 种 技术 ,如 蠕虫 就 
融合 了 缓冲 区 溢出 技术 、 网 络 扫描 技术 和 病毒 感染 技术 。 在 网 络 攻击 复杂 化 的 情况 下 , 设 
备 联动 是 一 种 很 好 的 告警 响应 方式 。 例 如 ,IDS 和 IPS 的 联动 ,IDS 按照 一 定 的 安全 策 
略 , 对 网 络 , 系 统 的 运行 状况 进行 监视 , 尽 可 能 发 现 各 种 企图 、 攻 击 行为 或 者 攻击 结果 ,以 
保证 网 络 系统 资源 的 机 密 性 、 完 整 性 和 可 用 性 ; 当 IDS 技术 无 法 应 对 一 些 安 全 威胁 时 ， 
IPS 技术 可 以 深度 感知 并 检测 流 经 的 数据 ,对 恶意 报 文 进行 丢弃 ,以 阻 断 攻 击 , 对 滥用 报 
文 进行 限 流 , 以 保护 资源 。IDS 的 核心 价值 在 于 通过 对 全 网 信息 的 分 析 , 了 解 系统 安全 状 
况 ;而 IPS 更 像 是 对 IDS 的 一 种 更 深层 次 的 完善 ,针对 IDS 无 法 检测 到 的 攻击 进行 抵御 ， 
从 而 保护 系统 。 不 仅仅 是 IDS 和 1IPS 联动 ,防火 墙 和 IDS 的 联动 ,防火墙 和 UTM 的 联动 
都 可 以 有 效 地 应 对 告警 ,响应 告警 。 

联动 方式 又 分 为 直接 联动 和 间接 联动 。 以 防火 墙 和 入 侵 检 测 为 例 ,联动 方式 是 指 防 
火 墙 和 入 侵 检 测 作为 两 个 独立 子 系统 存在 ,单独 完成 各 自 的 任务 ,并 具有 相应 的 通信 接口 
进行 信息 共享 和 互动 ,实现 一 体 化 的 主动 防御 。 当 入 侵 检测 系统 发 现 网 络 中 的 数据 存在 
攻击 企图 时 , 便 立 即 通知 防火 墙 ,更 改 防火 墙 的 安全 策略 ,从 攻击 源头 上 进行 封 堵 。 这 其 
中 又 分 为 直接 联动 和 间接 联动 两 种 方式 。 

。 直接 联动 : 即 让 防火 墙 与 人 侵 检 测 系统 直接 进行 交互 ,通过 统一 的 开放 接口 , 按 
照 某 种 固定 协议 进行 安全 事件 的 传输 。 通 信 双 方 可 以 事先 约定 并 设 定 通信 端口 ， 
相互 正确 配置 对 方 的 IP 地 址 ,防火 墙 作为 服务 端 , 入 侵 检 测 系统 作为 客户 端 ,由 
入 侵 检 测 系统 向 防火 墙 发 起 连接 。 这 种 联动 方式 响应 速度 较 快 ,但 还 是 缺少 子 系 
统 之 间 的 综合 分 析 , 易 生成 错误 的 防火 墙 访问 控制 规则 ,导致 防火 墙 性 能 下 降 。 
间接 联动 : 指 通 过 第 三 方 (如 联动 控制 台 、 网 管 系统 等 ) 实 现 防 火 墙 和 入 侵 检测 系 
统 之 间 的 通信 。 使 用 这 种 方式 ,可 以 对 子 系统 之 间 的 信息 进行 综合 推理 ,分 析 , 不 
仅 可 以 减少 系统 间 的 通信 流量 .而 且 可 以 提高 报警 的 准确 率 ,减少 误 报 率 。 分 析 
后 的 报警 数据 也 可 以 用 来 制定 相应 的 防火 墙 访问 规则 ,以 进行 主动 防御 。 同 样 ， 
防火 墙 也 可 以 反馈 信息 给 联动 控制 台 或 者 网 管 系统 ,以 进行 安全 策略 或 控制 规则 
的 调整 。 而 且 , 当 加 入 相关 管理 功能 后 ,使 用 网 管 系统 或 者 联动 控制 台 还 可 以 直 
接 对 各 个 子 系统 进行 控制 和 管理 ,将 网 络 安全 与 管理 融 为 一 体 ,以 方便 网 络 管理 
员 操 作 。 


3. 发 送 Syslog 运 维 日 志 消 息 
随 着 互联 网 技术 的 飞速 发 展 和 移动 应 用 的 推广 普及 ,人 们 的 日 常生 活 与 工作 已 与 网 
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络 建立 了 密切 联系 。 确 保 网 络 的 可 用 性 与 稳定 性 成 为 网 络 运 维 部 门 的 重要 目标 。 在 传统 
运 维 模式 下 , 运 维 部 门 被 动 响应 和 处 理 网 络 故障 的 方式 就 是 解析 Syslog 日 志 记 录 。 在 实 
际 网 络 运 维 中 ,通常 会 使 用 Syslog 日 志 记录 网 络 运行 过 程 中 设备 上 发 生 的 事件 ,所 有 的 
设备 的 日 志 信 息 将 会 发 送 到 Syslog 服务 器 集中 存储 。Syslog 日 志 在 网 络 运 维 中 具有 较 
高 的 分 析 价 值 和 用 途 , 不 仅 可 用 于 故障 分 析 , 还 可 用 于 发 现 网 络 的 异常 情况 、 网 络 安全 威 
胁 、 用 户 行为 分 析 等 诸多 方面 。 

在 网 络 安全 领域 , 当 告 警 产生 后 ,网络 设备 向 管理 员 发 送 告警 运 维 日 志 是 最 普遍 的 一 
种 告警 响应 方式 。UNIX/Linux 系统 中 的 大 部 分 日 志 都 是 通过 Syslog 的 机 制 产生 和 维 
护 的 。Syslog 是 一 种 标准 的 协议 ,分 为 客户 端 和 服务 器 端 ,客户 端 是 产生 日 志 消 息 的 一 
方 ,而 服务 器 端 负责 接收 客户 端 发 送 来 的 日 志 消 息 , 并 做 出 保存 到 特定 的 日 志文 件 中 或 者 
其 他 方式 的 处 理 。 

Syslog 日 志 作 为 告警 响应 的 一 种 常见 方式 ,在 大 规模 网 络 中 ,对 于 网 管 人 员 分 析 工 
作 存 在 一 定 的 难度 ,主要 有 以 下 两 点 。 

(1) Syslog 日 志 格式 随意 性 大 。Syslog 协议 虽然 对 日 志 格式 提供 了 可 行 的 建议 ,但 
在 实际 情况 下 ,由 于 协议 标准 晚 于 设备 厂商 出 现 ,因此 各 厂商 Syslog 日 志 格 式 存 在 显著 
差异 。 为 了 解决 这 个 问题 ,许多 Syslog 分 析 工 具 都 需要 建立 一 个 日 志 库 , 预 先 将 各 种 可 
能 出 现 的 日 志 记录 到 库 中 ,然后 对 该 日 志 定义 处 理 规 则 。 这 种 基于 规则 的 日 志 分 析 法 适 
合 小 型 的 网 络 运 维 ,然而 在 涵盖 各 种 不 同 设备 的 复杂 网 络 中 ,规则 库 的 建立 与 维护 增加 了 
运 维 人 员 的 负担 ,也 容易 成 为 运 维 工 作 的 瓶颈 。 

(2) 日 志 信息 量 非常 大 。 大 型 网 络 中 ,由 于 网 络 设备 日 趋 增加 ,而 且 技术 复杂 度 高 ， 
网 络 中 每 天 新 产生 的 日 志 数量 可 以 达到 数 以 万 计 。 显 然 , 依 靠 人 工分 析 方法 无 法 完成 日 
志 分 析 工 作 。 


5.4.4 告警 查询 


在 网 络 安全 领域 中 ,网 络 设备 承载 着 大 量 的 业务 需求 和 安全 隐患 ,所 以 要 及 时 发 现 设 
备 和 网 络 的 异常 状态 ,及 时 可 靠 地 查询 告警 信息 ,对 告警 信息 进行 正确 分 析 、` 及 时 处 理 显 
得 尤为 重要 ,这 是 保证 网 络 安全 稳定 运行 的 有 效 措施 。 本 节 主 要 介绍 设备 告警 查询 的 方 
法 和 一 些 通 用 的 告警 查询 流程 以 及 注意 事项 。 
告警 一 般 可 以 在 设备 或 网 管 上 进行 查看 或 查询 。 在 设备 上 查询 告警 有 两 种 方法 : 一 
种 是 在 设备 机 的 机 柜上 有 告警 指示 灯 ,提示 维护 人 员 有 告警 发 生 ;另外 一 种 方法 ,可 以 查 
看 设备 硬件 板 上 的 告警 指示 灯 , 如 用 指示 灯 闪 烁 频率 或 颜色 变化 显示 正常 状态 或 故障 状 
态 。 设 备 上 的 指示 灯 显 示 模 式 数量 较 少 ,告警 信息 显示 不 完全 ,通过 设备 查看 告警 只 能 了 
解 到 是 否 有 告警 以 及 告警 的 级 别 ,不 能 有 效 地 反映 当前 故障 的 详细 情况 ,需要 管理 人 员 在 
网 管 系统 中 进行 查询 。 网 络 管理 系统 的 出 现 给 维护 人 员 的 工作 带 来 了 极 大 的 便利 ,使 用 
网 管 系统 查询 告警 信息 ,可 以 查询 到 网 络 中 存在 的 各 种 类 型 的 告警 ,也 可 以 查询 到 某 个 单 
独 网 元 的 更 细 颗 粒度 的 告警 信息 ,进一步 可 以 定位 到 某 一 个 模块 上 的 告警 信息 。 由 于 设 
备 上 的 告警 信息 有 限 且 内 容 较 少 ,因此 本 节 接 下 来 将 详细 说 明 一 般 网 络 管理 系统 上 的 告 
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警 查询 步 又 和 注意 事项 。 

首先 ,一 般 的 网 管 系统 要 对 全 网 告警 进行 核对 ,确保 网 管 上 的 显示 内 容 与 设备 上 产生 
的 告警 一 致 ,保证 告警 的 全 面 性 ,防止 遗漏 某 些 重要 的 告警 信息 ;其 次 ,查询 紧急 告警 , 紧 
急 告 警 是 告警 类 别 中 首先 需 被 解决 的 告警 类 型 。 通 过 查看 告警 级 别 、 名 称 、 告 警 源 、 定 位 
信息 与 告警 事件 迅速 判别 告警 出 现 的 位 置 进行 故障 消除 ,能 在 网 管 上 利用 软件 消除 的 告 
警 需要 迅速 处 置 ,需要 其 他 维护 人 员 配 合 处 理 的 ,立即 调动 人 员 处 理 , 直 至 消除 当前 出 现 
的 紧急 告警 ;然后 ,查询 网 管 系统 中 的 重要 告警 ,通过 系统 中 已 有 的 关于 该 类 告警 的 名 称 、 
源头 和 定位 信息 处 理 这 些 告警 ,消除 所 有 的 重要 告警 。 最 后 ,不 能 忽略 次 要 告警 。 次 要 告 
警 虽然 不 影响 业务 ,在 处 理 告警 时 可 以 忽略 这 些 因为 网 络 不 正常 产生 的 此 类 告警 ,但 是 次 
要 告警 往往 预示 着 网 络 已 经 产生 故障 .并 可 能 随时 中 断 业务 的 故障 ,需要 定时 巡视 、 及 时 
处 理 这 些 告警 。 

告警 查询 属于 查询 类 操作 ,一 般 不 存在 危险 操作 ,但 需要 注意 以 下 3 种 情况 。 

(1) 告警 时 间 要 保证 准确 。 

告警 产生 时 间 提 取 的 是 网 元 本 身 的 时 间 , 所 以 要 将 所 有 网 元 的 时 间 保 持 一 致 ,告警 上 
报时 才能 反映 出 实际 故障 时 间 , 有 利于 分 析 处 理 。 

(2) 告警 确认 ,删除 需 慎重 。 

当 有 告警 产生 时 , 若 没有 找 出 故障 原因 ,不 允许 对 告警 确认 或 删除 ,否则 将 给 处 理 故 
障 带 来 不 便 。 所 以 ,网 管 维护 人 员 操 作 时 要 小 心 谨慎 ,对 竺 告警 状态 不 要 轻易 进行 删除 操 
作 , 这 是 本 着 对 网 络 和 设备 安全 运行 的 考虑 。 

(3) 查询 告警 后 ,对 网 管 数据 进行 数据 备份 。 


55 实时 统计 分 析 


本 节 主 要 介绍 关联 分 析 后 的 事件 及 其 事件 之 间 的 关系 ,通过 可 视 化 的 方式 展现 出 来 。 
可 视 化 的 方式 主要 有 事件 全 球 定位 系统 动态 雷达 图 .事件 行为 分 析 和 主动 事件 图 。 


5.5.1 事件 全 球 定位 系统 


全 球 定位 系统 (Global Positioning System,GPS) 可 以 结合 地 图 的 可 视 化 ,清晰 、 准 确 
地 定位 出 事件 发 生 的 地 点 以 及 与 该 事件 相关 事件 发 生 的 位 置 , 便 于 挖掘 事件 之 间 的 关联 
关系 。 

事件 全 球 定位 系统 (incident Global Positioning System,iGPS) 主 要 应 用 于 网 络 安全 
方面 的 事件 定位 。iGPS 利用 IP 地 址 与 GPS 导航 定位 事件 。 具 体 来 说 ,IP 地 址 可 以 区 别 
设备 或 者 网 络 所 在 地 区 的 特性 ,同时 利用 GPS 地 图 定位 事件 源 /目的 告警 事件 的 地 理 位 
置 。 通 过 这 种 事件 可 视 化 技术 ,用 户 可 以 直观 地 定位 到 事件 的 来 源 和 目标 。 


5.5.2 ”动态 雷达 图 
雷达 图 也 称 为 蜘蛛 图 蛛网 图 . 星 状 图 \ 极 区 图 ,是 一 种 以 二 维 形式 展示 多 维 数据 的 图 
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形 ,目前 主要 应 用 在 财务 分 析 报表 上 。 雷 达 图 从 中 心 点 出 发 辆 射出 多 条 坐标 轴 ( 至 少 多 于 
3 条 ) ,每 一 份 多 维 数据 在 每 一 维度 上 的 数值 都 占用 一 条 坐标 轴 , 并 和 相 邻 坐标 轴 上 的 数 
据点 连接 起 来 ,形成 一 个 不 规则 多 边 形 。 如 果 将 相 邻 

坐标 轴 上 的 刻度 点 也 连接 起 来 ,以 便于 读 取 数值 , 束 2 

个 图 形 形 似 赂 蛛网 ,或 雷达 仪表 盘 , 因 此 被 称 作 雷 达 


图 。 简 单 的 雷达 图 示例 如 图 5-6 所 示 。 2 2 
雷达 图 的 一 个 典型 应 用 是 显示 对 象 在 各 种 指标 2 > 

上 的 强 弱 。 由 于 其 具有 多 条 坐标 轴 , 因 此 能 轻易 地 处 Kw 

理 不 同 维度 单位 不 同 的 情况 。 另 外 ,即使 在 每 个 维度 

单位 .范围 相同 的 情况 下 ,雷达 图 也 比 传统 的 条 形 图 。 E 


具有 更 强 的 视觉 冲击 力 , 能 给 枯燥 单调 的 数据 增色 不 

少 。 雷 达 图 特别 适合 于 展示 在 某 个 属性 上 特别 突出 

的 对 象 ,也 可 以 突出 在 所 有 属性 上 数值 都 有 较 大 的 对 4 

象 。 但 一 般 而 言 ,雷达 图 不 太 适 合 比 较 不 同属 性 的 图 5-6 简单 的 雷达 图 示例 
值 ,这 是 因为 人 眼 对 成 角度 的 线段 长 度 差 异 不 敏感 。 

在 告警 级 别 可 视 化 中 ,雷达 图 扮演 着 重要 的 角色 。 雷 达 图 适合 于 展示 某 个 属性 突出 
的 对 象 ,告警 的 严重 性 和 数量 正 是 网 管 系统 可 视 化 中 所 需 展 示 的 重要 属性 对 象 。 动 态 雷 
达 图 是 指 实时 地 将 当前 系统 接收 到 的 事件 按照 严重 性 和 数量 动态 以 时 间 切 片 的 方式 展现 
在 雷达 窗口 中 ,这 样 管理 员 可 以 了 解 当前 阶段 的 安全 态势 ,以 便 采取 相应 的 应 对 措施 。 


5.5.3 事件 行为 分 析 


事件 行为 分 析 法 主要 研究 某 行为 事件 的 发 生 对 其 他 事件 产生 的 影响 以 及 影响 程度 。 
在 企业 运营 中 ,多 数 企 业 借 此 追踪 或 记录 用 户 行为 或 业务 过 程 ,如 用 户 注 册 ,浏览 产品 详 
情 页 等 ,通过 研究 与 事件 发 生 关联 的 所 有 因素 挖掘 行为 事件 背后 的 原因 、 交 互 影 响 等 。 事 
件 行为 分 析 法 具有 强大 的 筛选 ,分 组 和 聚合 能 力 ,逻辑 清晰 且 使 用 简单 ,已 经 被 广泛 应 用 。 
简单 地 说 ,事件 行为 分 析 是 可 视 化 事件 关联 关系 的 一 个 重要 手段 。 事 件 行为 分 析 法 最 早 
应 用 于 金融 领域 ,是 一 种 通过 金融 数据 分 析 某 一 特定 事件 对 某 公司 市 场 价值 影响 的 实证 
研究 方法 。 该 方法 具有 研究 理论 严谨 .逻辑 清晰 、 计 算 过 程 简单 等 优点 ,已 被 运用 到 越 来 
越 多 的 领域 研究 特定 事件 对 整个 组 织 行为 的 影响 。 

事件 行为 分 析 法 一 般 包 含 事件 定义 与 选择 、 多 维度 下 钻 分 析 、 解 释 与 结论 等 环节 。 


1. 事件 定义 与 选择 
事件 描述 的 是 一 个 用 户 在 某 个 时 间 点 、 某 个 地 点 、 以 某 种 方式 完成 了 某 个 具体 的 事 
情 。Who、When、Where、How、What 是 定义 一 个 事件 的 关键 因素 。 其 中 ,Who 是 参与 事 
件 的 主体 ,对 于 未 登录 用 户 ,可 以 是 Cookie, 设 备 ID 等 匿名 ID; 对 于 登录 用 户 , 可 以 使 用 
后 台 配 置 的 实际 用 户 ID; When 是 事件 发 生 的 实际 时 间 , 记 录 精 确 到 毫秒 的 事件 发 生 时 
间 ; Where 即 事件 发 生 的 地 点 ,可 以 通过 IP 解析 用 户 所 在 省 市 ,也 可 以 根据 GPS 定位 方 
87 


ee 日志 审计 与 分 析 EGG 


式 获取 地 理 位 置信 息 ; How 即 用 户 从 事 这 个 事件 的 方式 ,如 用 户 使 用 的 设备 ,浏览 器 、 
App 版 本 、 渠 道 来 源 等 ;What 描述 用 户 所 做 的 这 个 事件 的 所 有 具体 内 容 。 例 如 ,对 于 “ 购 
买 "类 型 的 事件 ,可 能 需要 记录 的 字段 有 商品 名 称 .商品 类 型 ,购买 数量 .购买 金额 .付款 方 
式 等 。 


2. 多 维度 下 钻 分 析 

最 高 效 的 事件 行为 分 析 要 支持 任意 下 钻 分析 和 精细 化 条 件 筛选 。 当 事件 行为 分 析 合 
理 配 置 追踪 事件 和 属性 时 ,可 以 激发 出 事件 分 析 的 强大 潜能 ,为 企业 回答 关于 变化 趋势 、 
维度 对 比 等 各 种 细 分 的 问题 。 同 时 ,还 可 以 通过 添加 筛选 条 件 ,精细 化 查看 符合 某 些 具体 
条 件 的 事件 数据 。 


3. 解释 与 结论 

此 环节 要 对 分 析 结 果 进 行 合 理 的 理论 解释 ,判断 数据 分 析 结 果 是 否 与 预期 相符 ,如 判 
断 产品 细节 优化 是 否 触发 了 用 户 数 。 如 果 相 悖 , 则 应 针对 不 足 的 部 分 进行 再 分 析 与 实证 。 

在 网 络 安全 领域 ,可 视 化 的 主要 对 象 是 告警 产生 的 关联 关系 ,而 关联 关系 的 主体 是 用 
户 (IP)。 事 件 行为 分 析 在 网 络 安全 方面 的 应 用 就 是 将 一 段 时 间 内 的 事件 按照 不 同 的 属性 
进行 排列 和 连接 ,形象 地 展示 在 坐标 轴 上 ,让 管理 员 一 目 了 然 地 看 到 事件 代表 的 用 户 (IP) 
行为 。 图 5-7 是 网 络 安全 中 的 一 个 简要 事件 行为 分 析 图 。 


源 地 址 


应 用 协议 目的 端口 操作 | 目的 地 址 


10.0.8.15 


224.0.0.1 中 192.168.1.253 


未 知 10.145.18.123 


224.0.0.252 未 知 10.160.0.1 


10.0.4.24 10.70.5.212 


10.160.0.1 10.70.5.111 


224.0.0.253 56320 


10.70.5.103 


图 5-7 网 络 安全 中 的 一 个 简要 事件 行为 分 析 图 


5.5.4 主动 事件 图 


事件 是 人 类 社会 的 核心 概念 之 一 ,人 们 的 社会 活动 往往 是 事件 驱动 的 。 事 件 之 间 在 
时 间 上 相继 发 生 的 演化 规律 和 模式 都 是 一 种 十 分 有 价值 的 知识 。 然 而 ,当前 的 知识 图 谱 
和 语义 网 络 等 知识 库 的 研究 对 象 都 不 是 事件 。 为 了 揭示 事件 的 演化 规律 和 发 展 逻 辑 , 前 
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人 提出 了 事件 图 的 概念 ,作为 对 某 些 事件 关系 和 演变 的 直接 刻画 。 

事件 图 是 一 个 描述 事件 之 间 顺 承 、 因 果 关 系 的 事理 演化 逻辑 有 向 图 。 事 件 图 中 的 事 
件 用 抽象 \ 泛 化 ,语义 完备 的 谓语 词语 表示 ,其 中 含有 事件 触发 词 ,以 及 其 他 必需 的 成 分 保 
持 该 事件 的 语义 完备 性 。 事 件 间 的 关系 分 为 顺 承 关系 和 因果 关系 。 事 件 间 的 顺 承 关系 指 
两 个 事件 在 时 间 先 后 上 发 生 的 时 序 关系 ;事件 间 的 因果 关系 指 在 满足 顺 承 关系 时 序 约束 
的 基础 上 ,两 个 事件 间 有 很 强 的 因果 性 ,强调 前 因 后 果 。 

主动 事件 图 (Active Incident Diagram) 可 以 将 事件 之 间 的 关联 关系 可 视 化 为 一 幅 事 
件 图 ,形象 地 展现 出 当前 事件 网 络 的 关系 和 状态 ,如 图 5-8 所 示 。 在 网 络 安全 领域 ,主动 
事件 图 是 可 视 化 关联 关系 的 一 个 重要 工具 ,告警 经 过 关联 性 分 析 后 , 数 以 千 条 的 告警 关联 
关系 以 IP 地 址 为 源 /目的 地 址 ,通过 主动 事件 图 可 视 化 出 不 同 地 区 告警 的 关联 关系 。 


192.168.1.25 


192.168.1.20 


192.168.1.10 192.168.20.69 


5-8 主动 事件 图 


1. 实时 关联 性 分 析 在 网 络 安全 中 产生 的 背景 是 什么 ? 试 着 简 述 实时 关联 性 的 优 


. 事件 关联 方式 主要 有 几 种 ? 简 述 这 几 种 关联 方式 。 

- 告警 响应 中 主要 有 哪 几 种 告警 方式 和 响应 方式 ?其 优 缺 点 分 别 是 什么 ? 
. 试 简 述 告警 查询 中 需要 注意 的 安全 事项 。 

. 告警 关联 性 分 析 有 几 种 可 视 化 分 析 方式 ?” 分别 简 述 这 几 种 可 视 化 方式 。 
请 简 述 动态 雷达 图 的 优 缺 点 及 在 网 络 安全 方面 的 运用 。 

. 简 述 行为 分 析 法 的 步骤 。 


区 
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日 志 审 计 与 分 析 


查询 与 报表 


6.1 概述 


日 志 数 据 经 过 存储 之 后 ,日 志 审计 系统 还 将 提供 日 志 的 查询 和 报表 功能 。 系 统 通过 
事件 列表 形式 向 用 户 显示 查询 历史 事件 和 分 析 数 据 。 用 户 可 以 根据 需求 的 不 同 , 设 置 不 
同 条 件 下 的 事件 查询 场景 ,进而 通过 单 击 事件 ,方便 地 查看 不 同 场景 下 的 历史 事件 的 分 析 
统计 数据 。 系 统管 理 员 可 以 将 事件 分 析 的 结果 生成 可 视 化 报表 ,作为 工作 内 容 汇报 的 一 
部 分 提交 给 相关 部 门 。 报 表 包 括 系统 预定 义 报 表 和 自 定 义 审计 报表 。 用 户 可 以 运行 和 调 
度 这 些 系 统 中 已 经 存在 的 预定 义 报表 ,也 可 以 创建 修改 自 定义 的 审计 相关 报表 。 本 章 将 
详细 介绍 事件 查询 和 报表 的 相关 知识 。 通 过 本 章 的 学 习 , 理 解 事件 查询 的 几 种 方式 以 及 
报表 的 分 类 。 


63 事件 查询 


数据 库 中 的 数据 表 往 往 包 含 大 量 数据 ,用 户 一 般 很 少 需要 查询 表 中 所 有 数据 行 的 信 
息 , 只 在 某 些 查询 场景 中 寻找 其 中 一 些 满足 特定 条 件 的 信息 即 可 。 普 通 的 条 件 查询 就 是 
按照 已 知 确定 的 条 件 进 行 查询 ,模糊 查询 则 是 通过 一 些 已 知 但 不 完全 确定 的 条 件 进 行 查 
询 ,查询 的 功能 是 通过 SQL 请 句 在 数据 库 中 进行 操作 实现 。 

结构 化 查询 语言 (Structured Query Language,SQL) ,最 早 是 由 IBM 公司 的 圣 约 巧 
研究 实验 室 为 其 关系 数据 库 管理 系统 SYSTEMR 开发 的 一 种 查询 语言 。 它 的 前 身 是 
SQUARE 语言 。SQL 结构 简洁 ,功能 强大 ,简单 易学 ,因此 自从 IBM 公司 1981 年 推出 
以 来 ,SQL 得 到 了 广泛 的 应 用 。 如 今 无 论 是 Oracle、SQL Server 这 些 大 型 数据 库 管理 系 
统 ,还 是 Access 这 些 常 用 的 数据 库 开发 系统 ,都 支持 SQL 作为 查询 语言 。SQL 可 以 创 
建 , 维 护 ,保护 数据 库 对 象 ,并 且 可 以 操作 对 象 中 的 数据 ,对 数据 进行 增 、 删 \ 改 、 查 4 种 操 
作 。 查 询 则 属于 SQL 对 数据 的 查询 模块 ,又 被 称 作 Data Query Language (DQL) ,其 主 
要 SQL 关键 字 为 SELECT ,而 查询 满足 条 件 的 数据 记录 是 通过 WHERE 子 句 实现 的 。 


6.2.1 普通 条 件 查 询 


360 网 神 SecFox 日 志 收 集 与 分 析 系 统 主要 通过 普通 查询 对 日 志 事件 进行 审计 。 普 
通 查询 根据 用 户 提供 的 一 些 确定 条 件 进 行事 件 的 查询 。 
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例如 ,360 企业 安全 的 网 神 SecFox 日 志 收 集 与 分 析 系 统 的 普通 查询 界面 中 的 菜单 列 
表 类 型 主要 有 系统 类 型 .安全 事件 接收 的 时 间 、 安 全 事件 等 级 、 源 地 址 IP、 源 端口 目的 IP 
地 址 、 目 的 端口 以 及 设备 类 型 和 设备 地 址 。 用 户 可 以 根据 条 件 查询 查询 出 事件 的 详细 信 
息 ,包含 大 多 数 人 感 兴趣 的 事件 发 生 时 间 、 地 点 以 及 安全 等 级 等 。 


6.2.2 ”模糊 查询 


由 于 模糊 性 普遍 存在 于 人 类 思维 和 许多 客观 事物 中 ,而 计算 机 依据 传统 的 数学 方法 ， 
不 能 处 理 模 糊 事物 ,因此 模糊 技术 应 运 而 生 。 目 前 ,模糊 技术 的 研究 已 经 得 到 了 较 大 的 发 
展 , 被 成 功 应 用 到 生产 、 医 疗 ` 气 象 预报 及 工程 技术 等 多 个 领域 ,并 取得 了 较 大 成 功 。 与 此 
同时 ,基于 人 们 日 常生 活 中 对 信息 检索 的 模糊 性 需求 ,模糊 处 理 技术 也 在 信息 检索 领域 得 
到 了 广泛 应 用 。 

一 般 来 说 ,人 们 对 模糊 检索 的 渴望 来 源 于 两 方面 原因 : 一 方面 是 人 们 在 进行 信息 检 
索 时 ,使 用 自然 语言 表达 的 时 候 , 由 于 自然 语言 本 身 具 有 模糊 性 或 不 确定 性 造成 查询 表述 
时 的 模糊 ; 另 一 方面 ,查询 的 数据 对 象 本 身 是 包含 模糊 信息 的 。 考 虑 以 上 两 方面 的 因素 ， 
现 有 的 模糊 查询 方法 基本 上 可 分 为 精确 数据 对 象 上 的 模糊 查询 和 构建 模糊 数据 模型 存储 
模糊 信息 及 在 其 上 的 模糊 查询 两 大 类 。 

目前 ,根据 查询 对 象 的 存在 形式 ,模糊 查询 方法 的 研究 涵盖 了 关系 数据 库 、. 异 构 或 半 
结构 化 数据 、 分 布 式 数据 库 .图 数据 等 的 模糊 查询 。 

模糊 查询 的 定义 是 : 令 尺 是 数据 库 中 的 一 个 模式 为 (A, ,A,,…,A,) 且 包含 nn 条 元 组 
人 sa) 的 关系 ,Q 是 给 定 在 关系 R 上 的 一 个 合 取 查 询 ,形式 为 @Q=o jet.2.…wC;, 其 
中 ,CG;G=1,2,3,…,k) ,km 代表 一 个 基本 查询 条 件 , 若 该 基本 查询 条 件 中 包含 模糊 词 
或 模糊 关系 , 则 称 其 为 模糊 基本 查询 条 件 , 若 Q 中 至 少 存在 一 个 模糊 基本 查询 条 件 , 则 称 
QQ 为 一 个 模糊 查询 。 

1. 模糊 词 作为 操作 数 

规则 关系 作为 操作 符 与 模糊 词 作为 操作 数 构成 的 模糊 基本 查询 条 件 , 形 式 为 A0Y， 
其 中 ,A 代表 属性 ,9 代表 规则 关系 “= 二”,Y 是 作为 操作 数 的 模糊 词 。 模 糊 词 有 3 种 : 简单 
模糊 词 (Simple Fuzzy Term)、 复 合 模 糊 词 (Composite Fuzzy Term) 以 及 混合 模糊 词 
(Compound Fuzzy Term) ,它们 的 含义 都 可 由 模糊 集合 表示 。 

简单 模糊 词 ,如 “young” 或 “old”, 它 们 的 含义 是 从 主观 上 定义 的 。 

复合 模糊 词 ,如 “very young” 或 “more or less old”, 由 修饰 模糊 词 的 语气 算 子 (如 
“very”more or less”) 和 简单 模糊 词 构成 , 它 的 含义 也 是 用 隶属 函数 定义 ,但 这 里 的 隶属 
函数 不 是 直接 定义 ,而 是 通过 相对 应 的 简单 模糊 词 的 隶属 函数 推算 得 到 的 。 

混合 模糊 词 , 如 “young U very young”, 其 隶属 函数 是 由 代表 简单 模糊 词 或 复合 模糊 
词 的 模糊 集 通过 并 、 交 或 补 运算 得 到 的 。 


2. 模糊 关系 作为 操作 符 
模糊 关系 作为 操作 符 与 精确 数值 作为 操作 数 构成 了 模糊 的 基本 查询 条 件 。 模 糊 关系 
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close to、not close to at least、at most、not at least .not at most 可 被 分 别 看 作 模 糊 等 于 、 
模糊 不 等 于 模糊 大 于 或 等 于 、 模 糊 小 于 或 等 于 、 模 糊 大 于 和 模糊 小 于 。 这 种 规则 可 用 于 
数据 库 的 模糊 查询 处 理 。 


3. 数值 区 间作 为 操作 数 

规则 关系 作为 操作 符 与 数值 区 间作 为 操作 数 构成 的 基本 查询 条 件 ,形式 为 AgY ,其 
中 A 代表 属性 ,6 代表 规则 关系 “between”,Y 代表 一 个 精确 数值 区 间 , 用 [Y; ,Y,] 表 示 ， 
AbY 可 表示 为 “A between Yi and Y,”。 这 里 ,A9Y 虽然 是 一 个 精确 基本 查询 条 件 , 但 考 
虑 实际 应 用 中 靠近 数值 区 间 [Y, ,Y; ] 边 界 的 数据 也 在 一 定 程度 上 满足 该 基本 查询 条 件 ， 
因此 本 章 将 其 作为 一 个 模糊 基本 查询 条 件 , 并 按照 用 户 对 该 基本 查询 条 件 的 重视 程度 以 
及 用 户 ( 或 系统 ) 给 出 的 冰 值 对 其 进行 模糊 扩展 , 即 扩大 该 基本 查询 条 件 的 选择 范围 ,从 而 
为 用 户 提供 近似 匹配 的 查询 结果 。 

通过 模糊 查询 可 以 用 于 搜索 关键 字 的 同义词 ,提高 搜索 的 精确 性 。 当 搜索 的 目标 不 
是 很 明确 的 时 候 , 就 可 以 进行 模糊 搜索 。 在 无 法 获得 准确 查询 信息 的 时 候 , 通 过 模糊 查询 
可 以 进一步 缩小 搜索 范围 ,加 快 搜索 .查询 的 速度 。 

360 企业 安全 的 网 神 SecFox 日 志 收 集 与 分 析 系 统 提供 大 量 模糊 词 的 模糊 查询 , 意 在 
使 用 户 能 够 最 大 限度 地 查询 到 自己 感 兴趣 的 网 络 安 全 事件 。 很 多 用 户 无 法 获取 安全 事件 
的 关键 条 件 信 息 ,通过 一 些 模 糊 查 询 手 段 , 如 “不 大 于 ”至 少 ” 这 些 模 糊 词 ,查询 到 和 该 安 
全 事件 相关 的 部 分 事件 ,随即 通过 筛选 的 方式 寻找 到 自身 感 兴趣 的 安全 事件 ,大 大 提高 用 
户 的 使 用 体验 。 


6.2.3 ”查询 场景 


事件 查询 场景 就 是 管理 员 根 据 不 同 的 需要 设置 的 事件 查询 条 件 。 不 同 的 查询 场景 要 
求 的 查询 方式 也 不 相同 。 查 询 场景 主要 分 为 简单 的 查询 、 复 杂 的 搜索 条 件 查询 以 及 多 表 
查询 。 

6.2.2 节 已 经 介绍 了 简单 的 条 件 查询 和 复杂 的 搜索 查询 。 简 单 的 条 件 查询 就 是 查 
询 条 件 已 经 明确 ,根据 确定 的 查询 条 件 进行 SQL 语句 查询 ;复杂 的 搜索 查询 主要 涉及 
模糊 查询 的 概念 , 当 搜寻 条 件 不 明确 时 ,可 以 通过 关键 词 的 索引 ,利用 通配符 进行 语句 
查询 。 

当 利 用 SELECT 语句 查询 的 时 候 , 如 果 想 从 两 个 表 或 者 更 多 的 表 中 进行 查询 ,SQL 
将 允许 在 SELECT 语句 中 实现 多 表 连 接 , 使 用 户 可 以 从 两 个 表 或 者 更 多 的 表 中 连接 数据 
进行 数据 检索 。 多 表 查 询 主要 运用 在 需要 进行 跨 表 数据 的 查询 场景 中 ,所 查询 的 数据 是 
通过 不 同 表 连 接 而 成 的 。 

360 企业 安全 的 网 神 SecFox 日 志 收 集 与 分 析 系 统 可 以 根据 日 志 的 条 件 查询 、 模 糊 查 
询 对 事件 发 生 的 场景 进行 查询 分 析 。 
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6.2.4 查询 任务 


在 做 海量 数据 查询 的 过 程 中 ,一 些 基本 查询 对 某 些 特定 的 用 户 来 说 是 必要 的 ,如 针对 
一 家 公司 来 说 ,实时 了 解 公 司 人 员 的 薪资 结构 等 ,这 种 比较 耗 时 但 又 必要 的 任务 的 查询 被 
称 作 查询 任务 。 详 细 地 说 ,查询 任务 是 指 将 用 户 关注 的 事件 而 且 可 能 比较 耗 时 的 查询 ,做 
成 一 个 查询 的 调度 任务 ,让 系统 在 后 台 闲 暇 时 定时 执行 查询 任务 ,用 户 可 以 在 查询 任务 执 
行 完成 后 ,直接 下 载 查询 结果 ,避免 了 用 户 查询 等 待 的 时 间 , 大 大 提高 了 查询 的 效率 ,节省 
了 用 户 的 操作 时 间 。 


63 日 志 报表 的 分 类 


6.3.1 报表 概述 


报表 最 初 定义 在 金融 财务 中 ,为 了 更 好 地 理解 日 志 报表 的 含义 以 及 分 类 ,本 节 将 重点 
介绍 财务 报表 分 析 的 定义 和 目的 ,以 此 引出 日 志 报 表 的 含义 和 目标 。 

在 高 度 发 展 的 市 场 经 济 环境 下 ,企业 的 投资 主体 越 来 越 多 元 化 ,与 企业 有 着 各 种 利益 
关系 的 企业 外 部 组 织 和 个 人 日 益 复杂 。 企 业 的 投资 者 希望 其 投资 的 企业 财务 状况 不 断 好 
转 , 经 营 成 果 不 断 增加 ,因此 企业 内 部 不 同 的 投资 者 对 财务 状况 的 关心 程度 也 各 不 相同 。 
这 些 投资 者 并 不 直接 参与 企业 的 经 营 管理 活动 , 当 其 想 了 解 企业 的 财务 状况 和 经 营 成 果 
时 ,财务 报表 是 其 获取 财务 信息 的 有 效 手段 。 通 过 财务 报表 了 解 经 营 成 果 和 业绩 的 同时 ， 
投资 者 也 可 以 通过 财务 报表 发 现 企业 内 部 存在 的 问题 ,以 便 投 资 者 改进 对 企业 的 管理 ,使 
得 企业 的 经 营 成 果 增 加 ,财务 状况 好 转 。 因 此 ,财务 报表 是 管理 者 关心 的 重点 。 日 志 报 表 
和 财务 报表 相似 ,网 管 人 员 将 日 志 的 分 析 以 及 相关 事件 分 析 结 果 以 报表 的 形式 上 报 给 运 
维 管理 者 ,通过 日 志 收集 与 分 析 设 备 的 报表 功能 ,管理 者 可 以 清晰 地 了 解 到 事件 的 统计 情 
况 ,为 分 析 和 决策 提供 依据 。 

日 志 报 表 的 目的 是 将 企业 中 日 志 收集 与 分 析 设 备 近 期 收集 和 分 析 的 结果 以 报表 的 形 
式 呈 现 给 公司 内 部 运 维 的 高 层 管理 人 员 ,使 其 了 解 网 络 安全 系统 的 基本 情况 ,对 未 来 的 发 
展 有 一 定 的 规划 和 建议 。 


6.3.2 ”预定 义 报 表 


总 体 来 说 ,报表 就 是 用 表格 、 图 表 等 格式 可 视 化 数据 分 析 的 结果 ,可 以 用 公式 表示 为 : 
“报表 一 多 样 的 格式 十 动态 的 数据 ?。 如 今 ,报表 是 企业 管理 的 基本 措施 和 途径 ,是 企业 的 
基本 要 求 , 也 是 实施 商业 智能 战略 的 基础 。 报 表 可 以 帮助 企业 访问 、 格 式 化 数据 ,并 把 数 
据 信息 以 可 靠 和 安全 的 方式 呈现 给 使 用 者 。 在 没有 计算 机 以 前 ,人 们 利用 纸 和 笔记 录 数 
据 , 数 据 的 表现 形式 只 有 记录 、 分 析 人 员 才 能 理解 , 且 形 式 难于 修改 。 当 计算 机 出 现 后 ,人 
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们 利用 计算 机 处 理 数 据 和 界面 设计 功能 生成 、 展 示 报 表 。 计 算 机 上 报表 的 主要 特点 是 数 
据 动态 化 、 格 式 多 样 化 ,并 且 实 现 报表 数据 和 报表 格式 完全 分 离 ,用 户 可 以 只 修改 数据 ,或 
者 只 修改 格式 。 常 见 的 报表 类 型 有 财务 报表 、 技 术 报表 、 销 售 报表 和 统计 报表 。 另 外 , 目 
前 的 一 般 简单 报表 操作 软件 主要 由 Excel、Word 等 编辑 软件 制作 完成 ,它们 可 以 做 出 十 
分 复杂 的 报表 格式 ,但 是 由 于 它们 没有 定义 专门 的 报表 结构 动态 地 加 载 报表 数据 ,所 以 一 
般 都 会 使 用 系统 中 专门 设计 的 报表 软件 实现 “数据 动态 化 ”的 特性 。 

日 志 报表 就 是 对 日 志 数 据 分 析 的 结果 以 报表 的 形式 动态 展现 出 来 ,管理 员 可 以 将 事 
件 分 析 的 结果 生成 报表 ,作为 工作 内 容 汇 报 的 一 部 分 提交 给 相关 部 门 。 报 表 包 括 系 统 预 
定义 报表 和 自 定 义 报表 。 用 户 可 以 运行 和 调度 这 些 系统 中 已 经 存在 的 预定 义 报 表 , 也 可 
以 创建 修改 自 定义 的 审计 相关 报表 。 

自 定 义 审计 报表 需要 花费 一 定 的 时 间 制 作 报表 的 样式 和 风格 ,这 将 大 大 降低 生成 报 
表 的 速率 和 效率 。 常 用 的 报表 软件 会 根据 大 多 数 企业 所 需 的 基本 报表 样式 (如 财务 报表 
中 的 利润 报表 、 工 资 报表 ) 制 作 相应 的 模板 作为 预定 义 报表 , 供 企业 直接 使 用 。 

预定 义 报表 是 系统 出 三 设置 时 定义 的 一 些 通用 条 件 下 的 报表 ,这 些 报表 提供 的 图 表 
预定 义 样式 保存 在 服务 器 端 ,对 整个 工程 模板 起 作用 ,供用 户 直接 使 用 ,以 查看 一 些 通用 
条 件 下 的 报表 数据 。 预 定义 报表 不 允许 进行 添加 、 修 改 和 删除 操作 。 如 必须 对 预定 义 报 
表格 式 进 行 修改 ,可 以 将 预定 义 的 报表 内 容 复制 到 自 定义 报表 中 ,在 自 定义 报表 中 进行 
修改 。 

预定 义 报表 主要 应 用 于 日 志 系 统 中 最 简单 .基础 的 报表 。 其 主要 功能 包括 对 事件 的 
数量 进行 基础 性 的 统计 工作 。 在 系统 预定 义 报表 组 中 ,网 神 SecFox 日 志 收 集 与 分 析 系 
统 提 供 了 部 分 内 置 的 报表 ,供用 户 直接 使 用 ,以 查看 一 些 通用 条 件 下 的 报表 数据 。 网 神 
SecFox 日 志 收 集 与 分 析 系 统 中 较 常用 的 预定 义 报表 场景 主要 有 : 
防火 墙 设备 预定 义 报表 : 负责 统计 防火 墙 中 的 各 目的 地 址 、 源 地 址 、 等 级 事件 总 
数 等 基础 性 的 报表 。 
入 侵 检 测 设备 预定 义 报表 : 负责 统计 系统 设备 被 入 侵 的 源 地 址 IP、 目 的 地 址 IP、 
被 入侵 次 数 等 基础 性 的 报表 。 
应 用 安全 预定 义 报表 : 负责 对 应 用 的 安全 事件 进行 基础 性 的 报表 统计 。 
。 主 机 安全 预定 义 报表 : 负责 对 主机 安全 事件 的 基础 性 报表 统计 。 


6.3.3” 自 定义 审计 报表 


自 定义 审计 报表 区 别 于 预定 义 报表 之 处 在 于 ,前 者 可 以 对 报表 结构 进行 添加 修改 和 
删除 操作 ,管理 员 或 者 用 户 可 以 根据 自己 的 风格 喜好 和 企业 内 部 独特 的 需求 制作 相应 的 
报表 。 自 定义 报表 的 修改 即 对 所 添加 的 报表 进行 相应 的 修改 ,删除 即 对 已 经 添加 好 的 报 
表 进 行 删除 操作 。 下 面 主要 介绍 自 定义 报表 的 添加 报表 功能 。 

在 自 定义 的 报表 定义 组 中 可 以 添加 报表 。 添 加 报表 的 步骤 一 般 分 为 以 下 5 步 。 


1. 添加 报表 的 属性 信息 

基本 属性 : 包含 名 称 、 描 述 、 标 题 等 。 

高 级 属性 : 此 属性 为 可 选 属性 ,包含 报表 副标题 数据 表 最 大 行 数 、 纸 张大 小 ,纸张 方 
向 等 。 

其 中 ,用 户 可 以 根据 实际 情况 填写 各 个 信息 ,基础 属性 中 的 名 称 和 标题 为 必 填 内 容 ， 
并 且 定 义 在 同一 个 自 定义 组 下 ,不 能 创建 两 个 或 两 个 以 上 相同 名 称 的 自 定义 ,否则 系统 将 
会 提示 错误 。 


2. 报表 类 型 选择 

报表 类 型 : 可 选 数 据 报表 和 趋势 报表 ,默认 为 数据 报表 。 

是 否 图 表格 式 : 可 选 ; 是 否 显示 统计 : 可 选 ;数据 来 源 : 选择 需要 显示 的 报表 数据 。 

在 选择 报表 类 型 时 ,如 果 需 要 详细 的 日 志 信 息 , 则 选择 数据 报表 类 型 ;如 果 需 要 日 志 
数量 的 时 间 段 统计 信息 , 则 选择 趋势 报表 类 型 。 


3. 设计 统计 图 类 型 
统计 图 的 类 型 主要 分 为 柱状 堆积 图 和 饼 状 图 两 种 。 详 细 地 说 ,主要 有 二 维 柱状 堆积 
图 三维 柱 状 堆积 图 .二 维 横向 堆积 图 、 三 维 横向 堆积 图 .二 维 饼 图 和 三 维 饼 图 。 


4. 设置 条 件 字段 
用 户 或 者 管理 员 可 以 根据 系统 给 出 的 条 件 字段 列表 中 的 任意 字段 设置 字段 条 件 , 再 
通过 选择 合适 的 操作 符 完成 条 件 字段 的 设置 。 


5. 设置 统计 图 配置 

设置 统计 图 配置 主要 针对 系统 提供 的 统计 类 型 进行 数据 可 视 化 细节 方面 的 设置 。 

图 6-1 一 图 6-6 为 自 定义 报表 中 的 典型 统计 图 类 型 ,分 别 为 自 定义 二 维 柱状 堆积 图 、 
自 定义 三 维 柱状 堆积 图 、 自 定义 二 维 横向 柱状 堆积 图 、 自 定义 三 维 横向 柱状 堆积 图 、 自 定 
义 二 维 饼 状 图 和 自 定义 三 维 饼 状 图 。 
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20 
I my | 
0 
Jan Feb Mar 
Seriesl mSeries2 mSeries3 SSeries4 


图 6-1 自 定义 二 维 柱状 堆积 图 
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防火 墙 流 日 志 计 数 
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6-2 ” 自 定 义 三 维 柱状 堆积 图 
防火 墙 流 日 志 计数 
"EE 


"a 


Seriesl mSeries2 mSeries3 ® Series4 


图 6-3 自 定义 二 维 横向 柱状 堆积 图 


防火 墙 流 日 志 计 数 


0 5 10 15 20 25 
Seriesl MSeries2 MSeries3 ® Series4 


图 6-4 自 定义 三 维 横向 柱状 堆积 图 


目前 ,在 日 志 审 计 系统 中 ,为 了 满足 用 户 对 报表 种 类 的 不 同 需求 ,日 志 系统 通 常会 提 
供用 户 设计 自 定义 审计 报表 的 权限 。 网 神 SecFox 日 志 收 集 与 分 析 系 统 的 报表 系统 中 主 
要 包括 的 自 定义 报表 的 典型 报表 应 用 场景 有 : 

。 Top10 报表 : 按照 访问 是 否 成 功 的 次 数 细 分 。 
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Jan 防 火 墙 流 日 志 计 数 Feb 防 火 墙 流 日 志 计数 
3 4 
wmSerieslwSeries2* Series3 Series4 mSeriesl " Series2= Series3 Series4 


Mar 防 火 墙 流 日 志 计数 


"SerieslwSeries2* Series3 -Series4 


6-5 自 定 义 二 维 饼 状 图 


Jan 防 火 墙 流 日 志 计 数 Feb 防 火 墙 流 日 志 计 数 


"Seriesl*Series2*Series3 “Series4 mSeriesluSeries2n Series3s Series4 


Mar 防 火 墙 流 


mSeriesl m Series2=Series3® Series4 


图 6-6 自 定义 三 维 饼 状 图 


主机 流量 报表 : 按照 主机 接收 ,发送 和 总 体 流量 进行 报表 细 分 。 

协议 流量 报表 : 协议 中 按照 接收 、 发 送 和 总 体 流量 进行 报表 细 分 。 
Web 使 用 情况 报表 : 按照 主机 和 用 户 不 同类 型 的 使 用 情况 进行 细 分 。 
远程 访问 情况 : 按照 主机 和 用 户 类 型 细 分 。 


ls 
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6.3.4 中 间 表 


中 间 表 是 业务 逻辑 中 不 可 或 缺 的 一 种 报表 ,是 数据 库 中 专门 存放 中 间 计 算 结果 的 数 
据 表 。 报 表 系统 中 普遍 存在 这 种 中 间 表 , 它 将 之 前 报表 的 计算 结果 存 和 中间 表 , 然 后 再 将 
中 间 报 表 中 的 分 析 结果 传人 下 一 个 报表 中 进行 计算 ,这 样 做 大 大 减少 了 程序 的 复杂 度 , 方 
便 数据 操作 。 简 而 言 之 ,中 间 表 起 一 种 关联 、 承 接 作用 。 

中 间 表 出 现 的 典型 场景 主要 有 以 下 3 种 。 

(1) 通过 一 步 计 算 无 法 算出 。 数 据 库 中 的 原始 数据 表 要 经 过 复杂 计算 ,才能 在 报表 
上 展现 出 来 。 在 后 台数 据 库 系统 中 ,一 个 SQL 语句 很 难 实现 这 样 的 复杂 计算 。 需 要 连续 
多 个 SQL 实现 ,前 面 生成 的 中 间 表 给 后 面 的 SQL 语句 继续 使 用 。 

(2) 实时 计算 等 待 时 间 过 长 。 因 为 数据 量 大 或 者 计算 复杂 ,报表 用 户 等 待 时 间 太 长 ， 
所 以 需要 批量 运行 任务 ,把 数据 计算 好 后 存 人 中 间 表 。 报 表 的 制作 将 会 基于 中 间 表 的 查 
询 在 速度 方面 快 很 多 。 

(3) 多 样 性 数据 源 参 加 计算 。 来 自 于 文件 .日 志 等 外 部 数据 ,需要 数据 库 内 的 数据 进 
行 混合 计算 时 ,传统 办 法 只 能 导入 数据 库 形成 中 间 表 。 

审计 中 间 表 是 中 间 表 典型 案例 中 的 一 种 。 审 计 中 间 表 是 面向 审计 分 析 的 数据 存储 模 
式 ( 或 称 目标 模式 ) , 它 是 将 转换 清理 、 验 证 后 的 源 数据 按照 提高 审计 分 析 效 率 、 实 现 审计 
目的 的 要 求 进一步 选择 .整合 而 成 的 数据 集合 。 审 计 中 间 表 是 利用 被 审计 单位 数据 库 中 
的 基础 数据 ,按照 审计 人 员 的 升级 要 求 , 由 审计 人 员 构 建 , 可 供 审计 人 员 进 行 数据 分 析 的 
新 型 审计 工具 。 它 是 实现 数据 式 审计 的 关键 技术 。 审 计 中 间 表 按照 目的 的 不 同 , 可 分 为 
基础 性 审计 中 间 表 和 分 析 性 审计 中 间 表 。 前 者 可 以 帮助 审计 人 员 选 定 审计 所 需 的 基础 性 
数据 ,后 者 可 以 帮助 审计 人 员 实 现 对 数据 的 模型 分 析 。 下 面 详细 介绍 这 两 种 类 型 的 中 间 
表 , 并 比较 两 种 类 型 中 间 表 的 区 别 。 


1. 基础 性 审计 中 间 表 

基础 性 审计 中 间 表 是 审计 人 员 结 合 被 审计 单位 的 业务 性 质 和 数据 结构 ,根据 不 同 的 
分 析 主 题 生成 的 , 它 是 面向 审计 项 目 组 全 体 审计 人 员 的 。 所 有 基础 性 审计 中 间 表 的 集合 
构成 了 该 审计 项 目的 审计 数据 库 , 它 包括 所 有 与 审计 目的 相关 且 为 审计 人 员 进 行 分 析 所 
必需 的 电子 数据 。 基 础 性 审计 中 间 表 既 涵盖 了 被 审计 单位 本 身 的 数据 ,也 涵盖 了 与 该 被 
审计 单位 相关 联 的 数据 ,如 在 进出 口 贸易 审计 中 ,基础 性 审计 中 间 表 不 仅 包括 海关 的 征 
税 、 加 工 贸易 、 减 免税 等 数据 ,而 且 包 括 码 头 、 船 舶 公司 、 外 汇 管理 ,税收 .电子 口岸 等 方面 
的 数据 。 审 计 人 员 根 据 各 自 的 审计 分 工 和 分 析 需 求 ,可 以 从 审计 数据 库 中 找到 所 需 的 基 
础 性 审计 中 间 表 。 


2. 分 析 性 审计 中 间 表 

分 析 性 审计 中 间 表 是 审计 人 员 在 数据 分 析 过 程 中 ,在 基础 性 审计 中 间 表 的 基础 上 根 
据 具体 的 审计 目标 和 分 析 需 求生 成 的 , 它 是 面向 审计 项 目 组 中 特定 审计 人 员 的 。 一 个 审 
计 项 目 有 其 总 体 目标 ,而 总 体 目标 是 由 一 个 个 的 具体 目标 组 成 的 ,这 些 具体 的 目标 也 可 以 
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称 为 子 目标 。 对 子 目 标的 分 析 , 不 是 面向 全 体 审 计 中 间 表 ,而 是 其 中 一 部 分 数据 或 某 些 特 
定 的 数据 ,这 就 需要 在 基础 性 审计 中 间 表 中 进行 查询 筛选 ,或 者 在 基础 性 审计 中 间 表 的 基 
础 上 重新 组 合 , 关 联 , 生 成 用 于 特定 分 析 目 的 的 审计 中 间 表 ,这 就 是 分 析 性 审计 中 间 表 。 
可 见 ,创建 分 析 性 审计 中 间 表 是 审计 人 员 完 成 具体 审计 事项 实现 具体 审计 目标 的 需要 。 

此 外 ,创建 分 析 性 审计 中 间 表 还 有 另 一 个 用 处 , 那 就 是 提高 数据 分 析 的 效率 。 在 数据 
分 析 过 程 中 ,审计 分 析 模 型 在 计算 机 中 运算 时 间 的 长 短 与 计算 机 性 能 及 数据 量 的 大 小 相 
关 。 在 计算 机 性 能 确定 的 情况 下 ,计算 机 运算 审计 分 析 模 型 的 时 间 与 数据 量 的 大 小 呈 指 
数 级 关系 , 即 当 数 据 量 增 大 时 ,运算 耗费 的 时 间 会 成 倍增 加 。 因 此 ,审计 人 员 可 以 根据 特 
定 的 审计 内 容 , 在 基础 性 审计 中 间 表 的 基础 上 进一步 生成 分 析 性 审计 中 间 表 ,然后 再 进行 
数据 分 析 和 运算 ,从 而 缩短 计算 机 的 运算 时 间 ,提高 数据 分 析 效 率 。 例 如 , 某 基 础 性 审计 
中 间 表 中 包含 了 被 审计 单位 的 某 项 业务 2010 一 2014 年 的 数据 ,而 某 位 审计 人 员 现 在 只 想 
对 其 中 2014 年 的 数据 进行 深入 分 析 , 如 果 直 接 在 该 基础 性 审计 中 间 表 上 进行 分 析 , 计 算 
机 运算 将 耗费 大 量 时 间 , 这 时 审计 人 员 就 可 以 从 基础 性 审计 中 间 表 中 抽取 2014 年 的 数据 
生成 分 析 性 审计 中 间 表 ,再 在 分 析 性 审计 中 间 表 上 进行 数据 分 析 。 


3. 基础 性 审计 中 间 表 与 分 析 性 审计 中 间 表 的 联系 和 区 别 

分 析 性 审计 中 间 表 是 在 基础 性 审计 中 间 表 的 基础 上 生成 的 , 它 与 基础 性 审计 中 间 表 
的 本 质 区 别 在 于 : 基础 性 审计 中 间 表 是 面向 审计 项 目 组 全 体 审计 人 员 的 ,而 分 析 性 审计 
中 间 表 是 面向 具有 不 同 分 析 目 的 的 不 同 审计 人 员 的。 

根据 不 同 审计 人 员 的 不 同 分 析 需 求 , 分 析 性 审计 中 间 表 的 表现 形式 与 基础 性 审计 中 
间 表 相 比 , 可 能 存在 以 下 不 同 : 数据 结构 与 基础 性 审计 中 间 表 保持 一 致 ,只 是 在 数据 量 上 
有 所 差别 ( 即 从 中 抽取 部 分 记录 ); 数 据 结构 有 所 改变 ,需要 从 基础 性 审计 中 间 表 中 抽取 满 
足 特定 分 析 目 的 所 需 的 部 分 字段 ,或 将 基础 性 审计 中 间 表 与 其 他 相关 数据 表 进 行 关 联 , 从 
中 选择 相关 字段 ,以 满足 分 析 的 需要 。 

中 间 表 加 快 了 系统 数据 库 拉 取 数据 的 速度 ,方便 网 管 人 员 或 运 维 人 员 加 快报 表 的 制 
作 。 但 是 ,中 间 表 的 大 量 存在 也 造成 了 一 定 的 弊端 。 研 究 发 现 ,一 个 常规 的 报表 系统 中 ， 
数据 仓库 系统 中 有 大 约 两 万 个 数据 库 表 ,然而 真正 的 原始 数据 表 只 有 几 百 张 , 剩 下 的 大 量 
数据 库 表 都 是 为 查询 和 报表 服务 的 中 间 表 。 经 过 长 时 间 的 运行 ,数据 库 中 的 中 间 表 越 来 
越 多 ,甚至 出 现 项 目 中 有 上 万 个 中 间 表 的 情况 。 大 量 的 中 间 表 所 带 来 的 直接 困扰 就 是 存 
储 空间 不 够 用 ,面临 频繁 的 扩容 需求 。 中 间 表 对 应 的 存储 过 程 、 触 发 器 等 需要 占用 数据 库 
的 计算 资源 ,也 会 造成 数据 库 的 扩容 压力 。 目 前 的 解决 方法 就 是 将 每 天 的 中 间 表 导出 来 ， 
需要 使 用 时 再 导入 ,或 是 每 次 会 话 形成 的 中 间 表 在 结束 之 后 ,自动 删除 临时 表 并 释放 临时 
表 占 用 的 资源 ,这 样 就 可 以 大 大 减少 数据 库 内 的 表 的 数目 ,释放 大 量 资源 和 内 存 , 这 样 的 
使 用 使 得 数据 库 更 加 灵活 。 

日 志 审 计 系统 中 的 中 间 表 具有 承接 报表 生成 的 职责 。 中 间 表 的 生成 和 导入 使 得 系统 
数据 库 拉 取 数据 的 速度 加 快 ,报表 生成 的 速度 也 因此 得 到 提高 ,方便 网 管 人 员 加 快报 表 的 
制作 。 
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am 本 性 


思 考 题 
. 简 述 普通 条 件 查 询 和 模糊 查询 的 区 别 。 


. 什么 是 查询 任务 ? 

. 说 明日 志 报 表 的 3 种 分 类 ,并 概括 自 定义 审计 报表 的 步骤 。 
. 自 定义 审计 报表 一 般 有 几 种 表示 方式 ? 

. 中 间 表 的 作用 是 什么 ? 简 述 中 间 表 的 作用 和 类 型 。 
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第 7 章 
典型 案例 


前 6 章 介 绍 了 日 志 的 基本 知识 ,收集 方式 ,存储 方式 以 及 日 志 报表 的 相关 内 容 。 本 章 
将 介绍 日 志 审 计 系 统 应 用 案例 ,针对 各 应 用 的 不 同 应 用 背景 和 安全 需求 ,分 析 其 存在 的 安 
全 问题 ,提出 不 同 的 解决 方案 ,展示 多 种 部 署 方 式 。 


7.1 高 校 日 志 审 计 和 解决 方案 


7.1.1 背景 及 需求 


1. 应 用 背景 

随 着 计算 机 技术 和 信息 化 的 飞速 发 展 , 教 育 作为 国家 的 重点 也 逐渐 实现 了 信息 化 。 
所 谓 的 高 校 信 息 化 建设 , 指 的 就 是 依靠 多 种 先进 的 信息 技术 ,包括 计算 机 、 多 媒体 等 在 内 ， 
以 实现 教育 的 现代 化 、 信 息 化 和 先进 化 为 目标 ,将 受 教 者 的 信息 素养 纳入 教育 内 容 , 为 社 
会 培育 跟 进 时 代 潮 流 的 创新 型 人 才 。 

高 校 网 络 信息 中 心 承担 着 高 校 信息 化 的 建设 .规划 与 管理 等 工作 ,负责 校园 网 络 安 
全 ,依托 现 有 完善 的 网 络 资源 、 强 大 的 技术 能 力 ,为 学 校 提供 网 络 服务 和 信息 化 解决 方案 ， 
并 从 中 积累 丰富 的 运营 经 验 。 随 着 网 络 中 心 业务 量 的 不 断 发 展 、 壮 大 ,为 了 应 对 不 断 增长 
的 基础 设施 信息 量 、 不 断 增 长 的 业务 数量 、 不 断 提高 的 事件 处 理 时 限 需 求 、 网 络 事件 事后 
查询 需求 .网 络 事件 统计 分 析 需 求 , 网 络 中 心计 划 利 用 日 志 审 计 系 统 整 合 内 部 分 散 的 基础 
设施 信息 资源 ,提升 基础 设施 日 志 的 收集 、 关 联 能 力 。 


2. 需求 分 析 

针对 高 校对 日 志 审 计 的 需求 ,网 神 结 合 在 安全 审计 与 管理 领域 深厚 的 技术 积累 和 让 
富 的 行业 领域 知识 积累 ,提出 以 下 具体 目标 ,以 满足 高 校对 日 志 审计 系统 的 需求 ,提供 信 
息 化 解决 方案 。 

1) 海量 日 志 数 据 的 集中 审计 管理 

收集 信息 系统 IT 基础 设施 日 志 信息 ,规范 日 志 信息 格式 ,实现 海量 日 志 数据 的 标 
准 化 集中 存储 ,同时 保存 日 志 信息 的 原始 数据 ,规避 日 志 信 息 被 非法 删除 带 来 的 安全 
事故 处 置 工作 无 法 追查 取证 的 风险 ;加 强 海量 日 志 数据 集中 管理 ,特别 是 历史 日 志 数 
据 的 管理 。 
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2) 系统 运行 风险 及 时 报警 与 报表 管理 

基于 标准 化 的 日 志 数 据 进行 关联 分 析 , 及 时 发 现 信息 系统 IT 基础 设施 运行 过 程 中 
存在 的 安全 隐患 ,并 根据 策略 及 时 报警 ,为 运 维 人 员 主 动 保障 系统 安全 运行 工作 提供 有 效 
的 技术 支撑 ;实现 安全 隐患 的 报表 管理 ,更 好 地 支持 系统 进行 安全 管理 工作 。 

3) 为 落实 有 关 法 律 法 规 提 供 技术 支撑 

利用 安全 审计 结果 可 以 评估 国家 法 规 和 行业 监管 中 有 关 安 全 管理 和 审计 规定 的 落实 
情况 ,发 现存 在 的 问题 ,为 完善 网 络 信息 安全 管理 和 审计 提供 依据 ,持续 改进 ,进一步 提高 
安全 管理 和 审计 水 平 。 

4) 落实 业务 数据 审计 

通过 审计 系统 能 及 时 发 现 业务 数据 访问 中 的 违规 行为 ,并 能 进行 有 效 的 监控 ,对 违规 
行为 进行 追查 。 


7.1.2 解决 方案 及 分 析 


1. 解决 方案 
网 神 SecFox-LAS 日 志 审 计 系统 具有 成 熟 和 完整 的 体系 架构 ,在 日 志 收集 .日 志 分 
析 、 数 据 挖 气 和 符合 性 管理 等 关键 技术 领域 处 于 业界 领先 的 位 
置 。 该 日 志 审 计 系统 对 大 多 数 主流 设备 、 操 作 系统 和 应 用 系统 日 安全 性 分 析 
志 格 式 提供 了 支持 ,不 支持 的 设备 可 通过 系统 提供 的 功能 定制 开 
发 ,如 图 7-1 所 示 。 
1) 系统 自身 安全 性 设计 
作为 安全 审计 类 产品 ,日 志 审 计 系统 自身 具备 完善 的 安全 性 一 
保证 ,具体 包括 ， 二 
。 系统 内 部 的 各 个 组 件 之 间 通 信和 都 支持 加 密 传输 ,如 浏览 器 
访问 管理 中 心 支持 HTTPS、 通 用 日 志 收 集 器 (GLC) 与 管 
理 中 心 之 间 采 用 加 密 压缩 协议 进行 传输 、 多 级 管理 中 心 之 
间 采 用 加 密 协 议 进行 传输 ,等 等 ,保证 网 络 通信 的 机 密 性 。 图 7-1 解决 方案 分 析 
。 系统 对 收集 到 的 日 志 都 进行 了 加 密 存 储 ,保证 数据 的 完整 
性 和 机 密 性 。 
。 系统 具备 自身 运行 健康 状态 监视 功能 ,存储 的 数据 支持 自动 备份 和 恢复 ,保证 系 
统 的 可 用 性。 
。 在 硬件 型 产品 中 ,确保 底层 的 操作 系统 是 安全 的 。 
2) 性 能 与 存储 空间 部 署 
日 志 审 计 系统 按 所 有 设备 产生 的 总 事件 量 平均 500 条 / 秒 , 每 条 日 志 0. 8KB 为 标准 
进行 计算 ,所 有 设备 每 天 的 总 日 志 条 数 为 4320 万 条 ,总 日 志 量 约 为 33GB。 
系统 设计 支持 在 线 存储 和 离线 存储 两 种 方式 对 数据 进行 存储 。 
在 线 存储 按 一 个 月 计算 ,大 约 需要 1TB 的 空间 ,加 上 索引 和 系统 自身 的 空间 ,大 约 需 
要 1.5TB 的 存储 空间 。 
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离线 存储 是 压缩 存储 ,压缩 比 为 10 : 1, 根 据 审 计 要 求 ,原始 信息 及 审计 结果 需 保留 6 
个 月 至 1 年 , 按 最 长 1 年 计算 ,大 约 需 要 1.5TB 的 空间 。 

所 以 ,日 志 审 计 系 统 的 有 效 存 储 容量 ( 即 最 少 在 线 存 储 空 间 和 离线 存储 空间 的 总 和 ) 
是 3TB。 

事件 在 做 存储 时 使 用 的 解决 方案 是 将 每 天 所 有 的 事件 原始 消息 和 事件 解析 后 的 结果 
存放 在 一 个 事件 表 中 ,这 个 表 每 天 会 自动 产生 一 个 ,也 是 时 间 备 份 归档 的 对 象 ,该 表 可 供 
普通 查询 和 高 级 查询 使 用 ;另外 ,同时 会 将 事件 的 原始 消息 保存 在 一 个 NoSQL 的 文件 
中 ,以 便 查询 任务 使 用 。 查 询 任务 会 从 NoSQL 中 进行 查询 ,同时 在 返回 结果 时 重新 加 载 
解析 文件 ,以 便 用 户 得 到 解析 后 的 结果 。 

3) 部 署 方案 

日 志 审 计 系统 采用 B/S 架构 ,管理 员 无 须 安装 任何 客户 端 软件 ,通过 IE 浏览 器 登录 
管理 中 心 即 可 进行 各 种 操作 。 

一 般 来 说 ,可 将 系统 的 管理 中 心服 务 器 放置 在 网 管 中 心 或 者 安全 中 心 区 域 ,然后 对 被 
审计 对 象 进行 必 要 的 配置 ,使 得 它们 的 日 志 信 息 能 够 发 送 到 管理 中 心 。 管 理 员 通过 浏览 
器 可 以 从 任何 位 置 登录 管理 中 心服 务 器 ,进行 各 项 操作 ,如 图 7-2 所 示 。 


7-2 部 署 方 案 结构 图 


2. 方案 优势 

1) 统一 日 志 监控 

将 企业 和 组 织 的 IT 资源 环境 中 部 署 的 各 类 网 络 或 安全 设备 、 安 全 系统 、 主 机 操作 系 
统 、 数 据 库 以 及 各 种 应 用 系统 的 日 志 、 事 件 、 告 警 全 部 汇集 起 来 ,使 得 用 户 通 过 单一 的 管理 
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控制 台 对 IT 环境 的 安全 信息 (日 志 ) 进 行 统一 监控 。 统 一 安全 监控 给 客户 带 来 的 直接 收 
益 是 态势 感知 (Situation Awareness)。 通 过 态势 感知 ,客户 可 实现 对 全 网 综合 安全 的 总 
体 把 控 。 

统一 日 志 监 控 , 用 户 不 需要 经 常 在 多 个 控制 台 软 件 之 间 来 回 切换 、 浪 费 宝贵 的 时 间 。 
与 此 同时 ,企业 和 组 织 的 所 有 安全 信息 都 汇聚 到 一 起 ,使 得 用 户 可 以 全 面 掌 控 IT 环境 的 
安全 状况 ,对 安全 威胁 做 出 更 加 全 面 、 准 确 的 判断 。 

2) 全 面 的 日 志 收 集 手段 

通过 多 种 方式 全 面 收集 网 络 中 各 种 设备 .应 用 和 系统 的 日 志 信息 ,确保 用 户 能 够 收集 
并 审计 所 有 必需 的 日 志 信 息 ,避免 出 现 审计 漏洞 ,支持 通过 Syslog、SNMP、 NetFlow、 
ODBC/JDBC、OPSEC LEA 内 部 私有 TCP/UDP 等 网 络 协议 进行 日 志 收 集 。 

3) 丰富 的 日 志 类 型 支持 

支持 国内 外 大 部 分 主流 的 设备 .系统 品牌 和 型 号 ,能 够 审计 的 日 志 类 型 如 Windows 
操作 系统 ;UNIX 操作 系统 (Solaris、HP-UX、Linux、AIX 等 ); 防 火 墙 \VPN; 交 换 机 /路 
由 器 ;应 用 系统 安全 ;入侵 检测 系统 、 入 侵 防 御 系 统 等 。 

4) 灵活 的 部 署 模式 

部 署 方式 十 分 灵活 ,对 网 络 环境 的 适应 性 极 强 , 既 能 够 支持 单一 的 中 小 型 网 络 , 也 支 
持 跨 区 域 . 分 级 分 层 、 物 理 /逻辑 隔离 的 大 规模 网 络 。 

5) 日 志 归 一 化 和 实时 关联 分 析 

能 够 收集 企业 和 组 织 中 的 所 有 安全 日 志和 告警 信息 ,通过 归 一 化 和 智能 日 志 关 联 分 
析 引 擎 ,协助 用 户 准 确 、 快 速 地 识别 安全 事故 ,从 而 及 时 做 出 响应 。 

归 一 化 即将 异 构 的 日 志 变 成 系统 可 识别 的 统一 日 志 , 屏 蔽 了 不 同 厂商 以 及 不 同类 型 
产品 之 间 的 日 志 差 异 , 使 得 日 志 关 联 分 析 成 为 可 能 ;而 传统 的 日 志 审 计 系 统 仅 针对 原始 日 
志 的 时 间 、 源 /目的 IP 地 址 等 信息 进行 简单 分 解 , 其 他 主要 内 容 原 封 不 动 ,全 部 存储 在 数 
据 库 中 , 仅 提 供 普 通 的 日 志 查询 功能 。 

通过 关联 分 析 ,将 来 自 不 同 信息 源 的 日 志 融 合 到 一 起 ,发 掘 出 日 志 之 间 的 关系 ,找到 
真正 的 外 部 入 侵 和 内 部 违规 。 收 集 和 归 一 化 日 志 后 ,一 方面 将 日 志 存 信 数据库, 另 一 方面 
同步 地 在 内 存 中 (In-Memory) 进 行 实时 关联 分 析 。 实 时 性 确保 了 日 志 被 及 时 审计 ,同时 
能 够 快速 发 现 安全 隐患 。 


7.23 金融 行业 日 志 审计 解决 方案 


7.2.1 背景 及 需求 


1. 应 用 背景 
金融 行业 是 信息 化 领先 的 服务 行业 ,为 个 人 、 企 业 、 国 家 提供 金融 管理 服务 ,对 信息 系 
统 的 服务 质量 有 非常 高 的 行业 要 求 。 
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金融 行业 的 迅猛 发 展 ,也 带 来 了 很 大 的 金融 风险 。 为 了 有 效 防范 金融 机 构 运用 信息 
系统 进行 业务 处 理 ,经 营 管理 和 内 部 控制 过 程 中 产生 的 风险 ,促进 我 国 金融 行业 安全 、 高 
效 、 稳 健 运行 ,根据 (中 华人 民 共 和 国 银行 业 监督 管理 法 兴 中 华人 民 共 和 国外 资 银行 管理 
条 例 》 和 《中 华人 民 共 和 国 商业 银行 法 ) 等 法 律 规定 和 银行 审慎 监管 要 求 , 国 家 信息 安全 相 
关 要 求 和 信息 系统 管理 的 有 关 法 律 法 规制 定 了 一 系列 风险 控制 和 风险 管理 指引 。 

1)《 商 业 银 行内 部 控制 指引 ) 第 一 百 二 十 六 条 

商业 银行 的 网 络 设备 .操作 系统 .数据库 系统 \ 应 用 程序 等 均 应 当 设置 必要 的 日 志 。 

日 志 应 当 能 够 满足 各 类 内 部 和 外 部 审计 的 需要 。 

2) 银 监 局 (商业 银行 信息 科技 风险 管理 指引 ) 第 二 十 五 条 

商业 银行 应 通过 以 下 措施 ,确保 所 有 计算 机 操作 系统 和 系统 软件 安全 。 

(1) 指定 最 高 权限 系统 账户 的 审批 .验证 和 监控 流程 ,并 确保 最 高 权限 用 户 的 操作 日 
志 被 记录 和 监察 。 

(2) 在 系统 日 志 中 记录 不 成 功 的 登录 、 重 要 系统 文件 的 访问 、 对 用 户 账户 的 修改 等 有 
关 重 要 事项 ,手动 或 自动 监控 系统 中 出 现 的 任何 异常 事件 ,定期 汇报 监控 情况 。 

3) 证 监 会 /证 监 局 关于 证 券 行业 的 (信息 系统 等 级 保护 》 

明确 要 求 金 融 公司 需要 对 关键 网 络 设 备 、 安 全 设备 及 服务 器 进行 备份 ,并 定期 检查 分 
析 , 同 时 形成 记录 。 

4) 公安 厅 / 公 安 局 关于 《计算 机 信息 系统 安全 保护 条 例 》 

明确 要 求 金融 公司 需要 对 系统 运行 日 志 及 用 户 使 用 记录 保存 60 天 以 上 。 

根据 上 述 各 项 指引 的 要 求 , 金 融 行业 须 制定 相关 策略 和 流程 ,管理 所 有 生产 系统 的 活 
动 日 志 , 以 支持 有 效 的 审核 ,安全 取证 分 析 和 预防 欺诈 。 目 前 , 某 些 金 融 机 构 日 志 信息 并 
未 实现 集中 管理 ,缺乏 有 效 的 管理 工具 和 分 析 工 具 , 同 时 审计 工作 量 大 ,难以 全 面 、 准 确 、 
及 时 地 发 现 安全 风险 。 


2. 需求 分 析 

1) 实现 日 志 信息 的 集中 收集 与 存储 

金融 机 构 中 各 系统 的 操作 系统 、 数 据 库 、 应 用 等 ,每 天 都 在 产生 大 量 的 日 志 信息 ,这 些 
信息 种 类 繁多 ,而 金融 行业 公司 并 未 实现 日 志 信 息 的 集中 收集 与 存储 ,缺乏 有 效 的 管理 工 
具 和 分 析 工具 。 

2) 统一 日 志 格 式 ,提高 日 志 可 读 性 差 

金融 机 构 存 在 大 量 的 网 络 设备 和 安全 设备 ,如 思科 路 由 器 、 华 为 交换 机 、 华 三 路 由 器 
交换 机 、Juniper 路 由 器 、 东 软 防火 墙 、 天 融 信 防 火 墙 \ 山 石 防火 墙 、 东 软 VPN 等 , 运 维 人 员 
面临 较 大 的 管理 压力 和 负担 ,同时 ,不 同 的 三家、 不 同 的 设备 或 系统 会 有 不 同 的 日 志 格式 ， 
原始 日 志 的 可 读 性 较 差 ,缺少 一 种 对 原始 日 志 进 行 归 一 化 处 理 的 工具 ,以 提高 日 志 可 

3) 实现 全 面 ,准确 、 及 时 地 分 析 日 志 , 并 发 现 运行 中 的 安全 风险 

金融 机 构 大 量 的 网 络 设备 和 安全 设备 ,例如 操作 系统 .数据 库 、 应 用 系统 每 天 会 产生 
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大 量 的 日 志 数据 ,而 其 内 部 现在 仍然 采用 手工 方式 检查 和 分 析 日 志 , 工 作 量 大 ,效率 低 ,而 
且 运 维 人 员 面 临 着 较 大 的 管理 压力 和 负担 ,无 法 全 面 、 准 确 、 及 时 地 分 析 日 志 ,难以 发 现 运 
行 中 的 安全 风险 。 

4) 满足 系统 安全 管理 的 监管 要 求 

大 多 数 系统 为 实现 系统 审计 ,对 于 已 开启 审计 功能 的 系统 ,审计 日 志 由 安全 管理 员 手 
工 定期 分 析 ,无 法 全 面 、 准 确 . 及 时 地 发 现 安全 风险 。 对 于 未 开启 审计 功能 的 系统 , 暂 未 实 
现 系统 安全 日 志 的 定时 分 析 , 系 统 安全 管理 不 能 满足 监管 部 门 的 监管 要 求 。 

5) 实现 报表 自动 选取 ,定时 发 送 

银行 .基金 管理 公司 等 金融 机 构 对 日 志 报表 的 生成 及 通知 有 如 下 要 求 。 

。 所 有 报表 都 支持 邮件 自动 发 送 每 日 .每 周 、 每 月 、 每 年 报表 。 

。 所 有 报表 的 TOPX 客户 在 生成 报表 时 都 可 以 自己 选择 ,不 要 限定 TOP10 
或 TOP100。 
对 防火 墙 日 志 ( 不 仅 限于 ) 进 行 初始 化 分 割 ,分 割 项 至 少 包括 来 源 IP、 目 标 IP、 目 
标 端口 3 个 字段 内 容 一 一 Cisco FWSM 防火 墙 日 志 、 天 融 信 NGFW4000 防火 墙 
日 志 、 东 软 5200 防火 墙 日 志 。 
必须 包含 下 述 报表 : 防火 墙 的 病毒 主机 日 志 统计 报表 、 服 务 访 问 日 志 统 计 报表 、 
端口 扫描 日 志 统 计 报 表 、 网 络 常规 日 志 允 许 ( 和 拒绝 ) 统 计 报表 ,一 次 配置 日 志 统 
计 报 表 、 路 由 器 的 链 路 抖动 日 志 统 计 报表 .所 有 设备 的 用 户 执行 登入 操作 明细 报 
表 及 各 设备 事件 统计 报表 。 


7.2.2 解决 方案 及 分 析 


1. 解决 方案 

网 神 SecFox-LAS 日 志 审 计 系 统 在 网 络 环境 中 旁 路 部 署 到 交换 机 旁 ,不 改变 网 络 拓 
扑 , 不 影响 正常 业务 流通 ,网 络 设备 与 日 志 设 计 设备 网 络 层 可 达 即 可 ,能 接收 到 设备 发 过 
来 的 日 志 。 

1) 实现 高 性 能 日 志 收 集 与 海量 存储 

日 志 审 计 系 统 将 收集 到 的 所 有 信息 统一 存储 起 来 ,从 而 建立 一 个 集中 日 志 存 储 系统 ， 
这 降低 了 存储 成 本 和 日 志 被 抹杀 的 危险 ,为 未 来 出 现 的 安全 问题 提供 了 一 个 可 信 的 依据 。 

此 外 ,系统 还 具有 海量 日 志 接 收 和 存储 的 能 力 , 提 供 多 种 日 志 存 储 策 略 ,能 够 方便 地 
进行 日 志 备份 和 恢复 。 

2) 解析 日 志 消息 生成 日 志 报 表 , 实 时 分 析 统 计 日 志 

日 志 审 计 系 统 可 以 对 每 日 收 到 的 日 志 消息 解析 后 生成 需要 的 报表 ,并 通过 邮件 发 送 
给 用 户 , 用 户 可 通过 每 日 或 每 周 生 成 日 志 统计 报表 查看 、 分 析 网 络 设备 的 故障 等 问题 。 对 
收集 的 日 志 进 行 分 类 实时 分 析 和 统计 ,从 而 快速 识别 安全 事故 。 分 析 统 计 结 果 支 持 柱状 
图 、 饼 状 图 .曲线 图 等 形式 并 自动 实时 刷新 ,图 表 数 据 支持 数据 下 钻 。 日 志 实 时 分 析 在 内 
存 中 完成 ,不 需 借助 数据 库 和 文件 系统 。 
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3) 实现 日 志 归 一 化 和 关联 分 析 

网 神 SecFox-LAS 日 志 审 计 系 统 将 异 构 的 日 志 转 化 成 统一 的 日 志 , 从 而 解决 了 不 同 
厂商 以 及 不 同类 型 产品 之 间 日 志 差 异 的 问题 ,这 使 得 日 志 关 联 分 析 成 为 可 能 。 

此 外 ,在 进行 日 志 归 一 化 的 同时 ,还 保留 了 原始 日 志 记 录 , 便 于 将 来 进行 具有 司法 证 
据 效力 的 调查 取证 分 析 。 

实时 关联 分 析 是 该 日 志 审 计 系 统 的 核心 ,也 是 该 系统 区 别 于 传统 安全 日 志 审计 系统 
的 最 关键 特征 。 通 过 关联 分 析 ,将 来 自 不 同 信息 源 的 日 志 融 合 到 一 起 ,发 掘 出 日 志 之 间 的 
关系 ,找到 真正 的 外 部 和 人 侵 和 内 部 违规 。 

实时 关联 分 析 独 有 的 基于 安全 监测 .告警 和 响应 技术 (Security Monitor, Alert and 
Response Technology, SMART ) 的 事件 关联 分 析 引 擎 在 关联 规则 的 驱动 下 ， 
SMART 事件 关联 分 析 引 警 能 够 进行 多 种 方式 的 事件 关联 ,包括 统计 关联 .时 序 关 联 、 
单 事件 关联 、 多 事件 关联 .递归 关联 等 。 


2. 方案 优势 

1) 保障 日 志 的 完整 性 和 安全 性 

实现 对 用 户 业 务 数据 网 络 中 的 网 络 设备 .安全 设备 日 志 的 集中 收集 与 存储 ,使 得 日 志 
的 完整 性 、 安 全 性 得 到 保障 。 

2) 多 种 高 效 的 日 志 收 集 方式 

能 够 通过 多 种 方式 全 面 收集 网 络 中 各 种 设备 ,应 用 和 系统 的 日 志 信 息 ,确保 用 户 能 够 
收集 并 审计 所 有 必需 的 日 志 信息 ,避免 出 现 审计 漏洞 。 

系统 为 用 户 提供 一 个 软件 的 通用 日 志 收集 器 (Generic Log Collector,GLC ,也 称 为 事 
件 传感器 ) 。 该 日 志 收 集 器 能 够 自动 将 指定 的 日 志 ( 文 件 或 者 数据 库 记 录 ) 发 送 到 审计 中 
心 。 例 如 ,针对 Windows 操作 系统 的 日 志 、Norton 的 防 病毒 日 志 ,等 等 。 

3) 高 效 的 实时 分 析 统计 与 报表 分 析 统计 

实现 了 高 效 的 收集 与 高 效 的 实时 分 析 统 计 与 报表 分 析 统 计 ,让 用 户 更 清楚 地 了 解 、. 感 
知 、 掌 握 网 络 的 运行 状况 ;满足 了 用 户 对 日 志 审 计 的 要 求 ,让 用 户 全 面 \、 及 时 ,详细 地 掌握 
全 网 的 状态 ,提高 工作 效率 ,更 便于 其 他 工作 的 展开 。 实 时 性 确保 了 日 志 被 及 时 审计 , 同 
时 能 够 快速 发 现 安全 隐患 。 

4) 定制 事件 告警 规则 

日 志 审 计 系 统 定制 了 事件 告警 规则 ,使 得 管理 员 第 一 时 间 知 道 系统 发 生 的 高 风险 事 
件 , 并 做 出 相应 的 事件 处 理 , 最 大 限度 地 降低 安全 风险 。 

通过 安全 事件 告警 的 方式 ,在 运 维 人 员 有 限 的 条 件 下 有 效 地 把 握 运 维 工作 的 重点 , 进 
一 步 增强 系统 安全 运 维 工 作 的 主动 性 ,更 好 地 保障 系统 正常 运行 ,有 效 规避 日 志 信息 分 散 
存储 存在 的 非法 删除 风险 。 

5) 统一 的 安全 管理 平台 ,提高 工作 效率 

日 志 审计 系统 对 收集 到 的 不 同类 型 的 信息 进行 归 一 化 和 关联 分 析 , 最 大 限度 地 消除 
误 报 和 错 报 , 找 出 漏 报 , 通 过 统一 的 安全 管理 平台 控制 台 界面 进行 实时 、 可 视 化 的 呈现 , 协 
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助 安全 管理 人 员 迅速 准 确 地 识别 安全 事故 ,消除 了 管 


理 员 在 多 个 控制 台 来 回 切 换 的 烦琐 ,提高 了 工作 效率 。 一 一 
图 7-3 显示 了 日 志 事 件 的 分 析 流程。 
日 志 收 集 
6) 定制 安全 统计 报表 
信息 部 门 可 以 根据 收集 到 的 各 类 日 志 ,非常 方便 ee 
快捷 地 制作 出 诸如 防火 墙 拒绝 目的 地 址 排行 .防火墙 二 
拒绝 源 地 址 排行 和 主机 登录 失败 的 统计 报表 ;用 户 还 
可 根据 现 有 网 络 的 网 络 流量 做 网 络 内 流量 排行 的 趋势 j 
分 析 ; 通 过 上 述 图 表 、 报 表 和 趋势 图 的 分 析 , 使 得 信息 ee 
部 门 可 以 对 整个 网 络 的 安全 状况 有 一 个 非常 准确 的 党 T 
控 。 此 外 ,借助 日 志 管理 系统 定制 安全 统计 报表 ,从 而 ee 
进一步 提高 信息 安全 管理 水 平 。 图 7-4 给 出 了 统计 图 
表 的 详细 内 容 。 7-3 日 志 事件 的 分 析 流程 图 
安全 设备 流量 排行 主机 事件 数量 排行 
访问 被 阻 断 次 数 服务 器 用 户 登录 
最 多 的 源 地 址 次 数 排行 
访问 被 阻 断 次 数 应 用 服务 器 源 地 址 
最 多 的 目的 地 址 访问 次 数 排行 
安全 设备 流量 源 应 用 服务 源 地 址 
地 址 排行 访问 流量 排行 
安全 设备 连接 应 用 服务 器 事件 
数 源 地 址 排行 数量 排行 
网 络 设备 事件 应 用 服务 器 
数量 排行 流量 排行 
网 络 设备 连接 数 网 络 设备 连接 数目 
源 地 址 排行 的 端口 排行 
络 设备 连接 数 网 络 设备 流量 
目的 地 址 排行 目的 端口 排行 


7-4 统计 图 表 的 详细 内 容 


108 


第 7 章 典型 案例 mm 


7 航空 公司 日 志 审计 解决 方案 


7.3.1 背景 及 需求 


1. 应 用 背景 

某 航空 公司 是 星空 联盟 的 成 员 。 众 所 周知 ,信息 化 对 于 民航 企业 具有 极其 重要 的 意 
义 ,为 保障 业务 连续 性 ,保证 航空 公司 信息 化 系统 的 安全 ,航空 公司 在 网 络 安全 保障 方面 
进行 了 较 大 的 投入 。 经 过 信息 安全 项 目 一 期 的 建设 ,已 经 形成 了 较为 完善 的 信息 安全 保 
障 体系 ,根据 ISO7001 的 标准 建立 了 较为 清晰 明确 的 安全 制度 和 管理 流程 ,并 部 署 了 各 
类 安全 检测 和 防护 产品 。 

近年 来 , 随 着 航空 公司 信息 系统 建设 的 不 断 发 展 ,信息 安全 工作 也 是 一 个 不 断 改进 的 
过 程 。 通 过 前 期 的 安全 建设 ,航空 公司 已 经 部 署 了 大 量 的 防火 墙 .SSL VPN、 入 侵 检 测 系 
统 、 人 侵 防御 系统 、 防 DoS 设备 、 防 病毒 系统 ,终端 安 全 管理 系统 、 身 份 认证 系统 等 。 这 些 
安全 系统 都 仅 防御 来 自 某 个 方面 的 安全 威胁 ,形成 了 一 个 个 “安全 防御 孤岛 ,无 法 产生 协 
同 效应 ,无 法 实时 掌控 全 网 的 整体 安全 运行 态势 。 这 些 复杂 的 安全 防御 设施 在 运行 过 程 
中 不 断 产生 大 量 的 安全 日 志和 事件 。 这 些 数 量 巨大 、 彼 此 割裂 的 安全 信息 ,给 快速 准确 地 
排除 安全 隐患 带 来 了 极 大 的 难度 。 

另 一 方面 ,为 了 加 强 安全 与 内 控 , 国 家 出 台 了 相关 政策 ,包括 正在 大 力 推行 的 等 级 化 
保护 制度 ,针对 中 央企 业 ,尤其 是 境外 上 市 央企 的 《企业 内 部 控制 基本 规范 》、 国 资 委 颁布 
的 《中 央企 业 全面 风险 管理 指引 等 。 日 益 迫 切 的 信息 系统 审计 和 内 控 , 以 及 不 断 增 强 的 
业务 持续 性 需求 ,对 航空 公司 的 信息 安全 管理 与 审计 提出 了 严峻 的 挑战 。 航 空 公司 需要 
在 现 有 复杂 的 安全 防护 系统 上 再 构建 一 层面 向 业务 及 服务 的 信息 系统 一 体 化 安全 集中 管 
控 平台 ,全 面 提升 安全 管理 的 水 平 。 借 助 安 全 一 体 化 管控 平台 ,实现 对 全 网 安全 态势 的 实 
时 掌控 ,快速 响应 ,持续 改善 。 


2. 需求 分 析 

1) 全 面 提升 安全 管理 

航空 公司 在 现 有 的 安全 建设 基础 上 ,主要 部 署 了 大 量 的 防火 墙 、SSL VPN、 入 侵 检测 
系统 .人 侵 防御 系统 、 防 DoS 设备 、 防 病毒 系统 .终端 安全 管理 系统 .身份 认证 系统 等 。 但 
是 ,这 些 安全 系统 仅 防御 来 自 某 个 方面 的 安全 威胁 ,需要 全 面 提升 安全 管理 ,进行 全 面 的 
安全 建设 。 

2) 全 方面 对 海量 数据 进行 收集 

航空 公司 部 署 的 大 量 安全 防御 设施 在 运行 过 程 中 不 断 产生 大 量 的 安全 日 志和 事件 ， 
面 对 如 此 海量 的 日 志 数 据 , 需 要 进行 全 方位 的 数据 收集 。 

3) 实现 信息 系统 一 体 化 

对 收集 到 的 海量 数据 进行 标准 化 处 理 , 并 进行 集中 化 管理 ,实现 安全 一 体 化 管控 。 
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4) 实时 掌控 全 网 安全 态势 
借助 安全 一 体 化 管控 ,实现 对 全 网 安全 态势 的 实时 掌控 。 


7.3.2 解决 方案 及 分 析 


1. 解决 方案 

网 神 SecFox-LAS 日 志 审 计 系统 是 一 款 具有 成 熟 和 完整 的 体系 架构 的 产品 ,在 日 志 
收集 .日志 分 析 ` 数 据 挖掘 和 符合 性 管理 等 关键 技术 领域 处 于 业界 领先 的 位 置 。 其 提供 了 
对 大 多 数 主流 设备 ,操作 系统 和 应 用 系统 日 志 格 式 的 支持 ,不 支持 的 设备 可 通过 系统 提供 
的 功能 定制 开发 ,可 为 航空 公司 提供 一 体 化 的 安全 管理 平台 。 

如 图 7-5 所 示 ,通过 四 大 层次 功能 , 集 可 视 化 的 统一 管理 界面 ,管理 及 监控 中 心 .数据 
收集 层 ,监控 对 象 这 四 大 层次 实现 对 航空 公司 的 信息 安全 管理 与 审计 ,构建 面向 业务 及 服 
务 的 信息 系统 一 体 化 安全 集中 管控 平台 ,全 面 提升 安全 管理 的 水 平 。 同 时 ,借助 安全 一 体 
化 管控 平台 ,实现 对 全 网 安全 态势 的 实时 掌控 。 


可 视 化 的 统一 管理 界面 


领导 查看 视图 安全 主管 视图 | 。 | 管理 员 视图 其 他 角色 视图 
管理 及 监控 中 心 对 外 接口 屋 
En 
规则 库 ”| | 报表 管理 通告 管理 工 单 管理 
SNMP Trap 4 工 音 过 统 
案例 库 权限 管理 Syslog 一 
风险 库 
— 存 入 管理 | | 安全 风险 管理 | | 千村 响应 管理 |] web Serviee rr 
| 事件 麻 | 定制 接口 KY 于 
| | 资产 管 理 
| pe 资产 管理 | | 安全 事件 管理 


数据 采集 层 
资产 信息 采集 | | 漏洞 信息 采集 | | 运行 信息 采集 [安全 事 人 采集 网 络 行为 采集 


有 | 
监控 对 象 RE 


soc [i 声 销 舍 分 析 系 统 人 
统 
( 现 有 及 新 建 ) 


1 
| 
网 络 设备 | | 安全 设备 | 
1 


财务 系统 | | 电话 销售 系统 


图 7-5 安全 管理 平台 
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1) 数据 收集 层 

数据 收集 层 相当 于 安全 管理 系统 的 核心 处 理 单元 与 外 界 IT 资源 之 间 的 信息 中 介 装 
置 。 数 据 收集 层 负 责 收集 被 保护 对 象 (安全 域 ) 的 资产 信息 ,漏洞 信息 、 由 安全 事件 和 网 络 
行为 构成 的 威胁 信息 ,并 将 所 有 信息 归 一 化 为 安全 管理 系统 内 部 统一 的 数据 格式 , 送 往 安 
全 管理 中 心 。 

2) 管理 监控 中 心 

管理 监控 中 心 是 整个 系统 的 核心 ,包括 安全 风险 管理 子 系统 、 系 统 自身 配置 与 管理 子 
系统 .安全 知识 管理 子 系统 、 安 全 预警 管理 子 系统 、 安 全 响应 管理 子 系统 .安全 审计 子 系统 
和 系统 数据 库 。 通 过 安全 监控 中 心 , 开 发 人 员 和 管理 人 员 可 以 及 时 了 解 整个 平台 的 运行 
状况 。 

3) 可 视 化 的 统一 展现 界面 

管理 员 通 过 统一 的 管理 界面 实现 对 IT 资源 的 全 面 安全 管理 。 统 一 管理 系统 的 交互 
界面 最 突出 的 优势 是 信息 可 视 化 技术 。 通 过 信息 可 视 化 ,将 大 量 的 安全 信息 以 图 表 、 事 件 
图 的 方式 呈现 出 来 ,实现 了 管理 员 从 认 知 到 感知 的 转变 ,提高 了 全 网 安全 态势 监控 的 
效率 。 

4) 对 外 接口 层 

对 外 接口 层 是 指 安 全 管理 系统 与 外 部 系统 的 接口 模块 。 统 一 管理 系统 具有 良好 的 对 
外 接口 ,可 以 实现 3 个 层次 的 对 外 接口 服务 。 所 有 接口 服务 都 内 置 安全 机 制 ,包括 信息 认 
证 、 信 息 加 密 等 。 

安全 管理 界面 层 的 对 外 接口 服务 通过 安全 管理 系统 的 界面 层 接 口 ,实现 与 第 三 方 系 
统 的 统一 门户 的 集成 。 安 全 管理 系统 的 界面 层 接口 支持 标准 的 Portal 标准 ,同时 还 支持 
基于 Web 2.0 的 MeshUp 技术 ,实现 与 第 三 方 系统 统一 门户 基于 URL 的 集成 。 


2. 方案 优势 

通过 航空 公司 安全 一 体 化 管控 平台 的 建设 与 运营 ,构建 了 一 套 针 对 航空 公司 整体 IT 
计算 环境 的 统一 安全 管理 架构 ,对 包括 网 络 、 安 全 主机 和 应 用 在 内 的 各 类 IT 资源 从 业 
务 系统 的 角度 进行 统一 监控 (包括 运行 监控 与 安全 监控 ) ,统一 安全 事件 审计 与 分 析 、 统 一 
预警 与 响应 ,提升 航空 公司 现 有 信息 与 网 络 整体 安全 保障 水 平 ,并 符合 国家 等 级 保护 、 企 
业内 部 控制 的 相关 管理 ,审计 和 内 控 的 要 求 。 

1) 海量 安全 事件 的 标准 化 集中 管理 

根据 预定 收集 策略 ,收集 信息 系统 IT 基础 设施 和 应 用 日 志 及 事件 信息 ,规范 事件 信 
息 格 式 , 实 现 海量 安全 事件 的 标准 化 集中 存储 ,同时 保存 安全 事件 的 原始 数据 ,规避 日 志 
信息 被 非法 删除 而 带 来 的 安全 事故 处 置 工作 无 法 追查 取证 的 风险 :加强 海量 安全 事件 数 
据 集中 管理 ,特别 是 历史 安全 事件 数据 的 管理 。 

2) 系统 运行 风险 及 时 报警 与 报表 管理 

基于 标准 化 的 安全 事件 进行 关联 分 析 , 及 时 发 现 信息 系统 IT 基础 设施 及 其 核心 业 
务 系统 运行 过 程 中 存在 的 安全 隐患 ,并 根据 策略 及 时 报警 ,为 运 维 人 员 主 动 保障 系统 安全 
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运行 工作 提供 有 效 的 技术 支撑 ;实现 安全 隐患 的 报表 管理 ,更 好 地 支持 系统 进行 安全 管理 
工作 。 

3) 为 落实 有 关 信 息 安 全 管理 规定 提供 技术 支撑 

利用 安全 事件 分 析 结 果 可 以 评估 信息 安全 管理 规定 的 落实 情况 ,发 现 信 息 安 全 管理 
办 法 存在 的 问题 ,为 完善 信息 安全 管理 办 法 提供 依据 ,持续 改进 ,进一步 提高 安全 管理 
水 平 。 

4) 规范 信息 系统 的 日 志 信 息 管理 

根据 安全 管理 工作 的 现状 ,提出 信息 系统 的 日 志 信 息 管理 规范 ,明确 信息 系统 IT 基 
础 设施 及 其 核心 业务 系统 日 志 配置 的 基本 要 求 . 日 志 内 容 的 基本 要 求 等 ,一 方面 ,确保 安 
全 管控 系统 建设 实现 既定 目标 ; 另 一 方面 ,指导 今后 的 信息 化 项 目 建设 ,完善 信息 安全 管 
理 制度 体系 ,进一步 提高 安全 管理 水 平 。 


7 政府 日 志 审计 解决 方案 


7.4.1 背景 及 需求 


1. 应 用 背景 

近年 来 , 随 着 信息 化 程度 的 不 断 加 深 , 尤 其 是 大 数据 正 以 人 们 难以 想象 的 发 展 速度 带 
来 新 一 轮 信 息 化 革命 ,日 志 审 计 面 对 海量 数据 这 一 巨大 的 挑战 ,政府 审计 出 现 了 许多 与 信 
息 化 环境 不 协调 的 地 方 ,政府 审计 工作 有 待 于 进一步 完善 。 信 息 化 背景 下 政府 审计 的 转 
变 体 现 得 十 分 明显 ,日 志 审 计 在 政府 改革 中 发 挥 着 不 可 忽视 的 作用 ,有 利于 创新 政府 审计 
方式 ,完善 政府 审计 方案 ,促进 政府 审计 工作 与 信息 化 相 结合 ,提升 政府 审计 的 工作 效率 。 

此 外 ,大 数据 时 代 给 用 户 信息 安全 带 来 更 严峻 的 挑战 ,政府 机 关 的 日 志 数 据 尤 为 重 
要 ,根据 国家 信息 化 领导 小 组 关于 加 强 信息 安全 保障 工作 的 意见 兴 中 办 发 [2003]27 号 
文件 ) 提 出 “要 重视 信息 安全 风险 评估 工作 ,对 网 络 与 信息 系统 安全 的 潜在 威胁 、 注 弱 环 
节 、 防 护 措施 等 进行 分 析 评 估 ,综合 考虑 网 络 与 信息 系统 的 重要 性 、 涉 密 程度 和 面临 的 信 
息 安 全 风险 等 因素 ,进行 相应 等 级 的 安全 建设 和 管理 "在 处 理 海量 数据 的 同时 ,也 要 保证 
政府 日 志 信 息 安全 ,防止 黑客 人 侵 与 恶意 访问 ,满足 相关 标准 要 求 ,这 成 为 政府 越 来 越 关 
心 的 问题 。 


2. 需求 分 析 

政府 以 业务 系统 的 可 靠 性 和 安全 性 上 “事前 态势 监测 预警 . 事 中 风险 可 控 \ 事 后 举证 
可 信 ” 为 目标 ,研究 和 应 用 基于 大 数据 的 信息 系统 日 志 安 全 收集 、 安 全 传输 ,安全 存储 、 智 
能 分 析 和 智慧 应 用 等 能 力 ,建设 一 体 化 集约 式 综合 日 志 管 控 平 台 。 通 过 日 志 分 析 自 动 发 
现 业 务 系统 的 故障 风险 、 非 授权 访问 、 违 规 操作 .信息 非法 复制 等 ,对 其 加 以 预警 并 固定 证 
据 , 保 障 业务 软件 的 使 用 安全 、 规 范 .为 信息 系统 的 可 持续 合 规 运行 和 良性 发 展 提供 安全 
保障 。 主 要 建设 内 容 如 下 。 

112 


ee 第 7 章 典型 案例 mm 


(1) 基于 海量 数据 技术 的 综合 日 志 管理 系统 ,以 大 数据 平台 为 基础 ,提供 全 面 覆盖 网 
络 、 安 全 服务 器 存储 设备 数据库、 应 用 系统 ,成 熟 . 可 靠 、 便 捷 、 高 效 和 智能 的 日 志 分 析 
管理 功能 。 

(2) 数据 定制 分 析 服 务 。 以 综合 日 志 管 理 平台 内 容 为 基础 ,根据 用 户 性 能 和 安全 管 
理 需求 提供 平台 基础 功能 以 外 的 综合 分 析 服 务 , 包 括 可 视 化 分 析 图 示 或 报告 或 建 模 ,总 数 
不 少 于 10 项 。 


7.4.2 解决 方案 及 分 析 


1. 解决 方案 

网 神 SecFox-LAS 日 志 审 计 系统 作为 一 个 统一 日 志 监控 与 审计 平台 ,能 将 来 自 不 同 
厂商 的 设备 配置 和 警报 等 信息 发 送 至 审计 中 心 ,实现 全 网 综合 安全 审计 ,为 政府 提供 符合 
国家 等 保 、 分 保 以 及 各 种 法 律 法 规 要 求 的 合 规 性 审计 产品 。 图 7-6 为 解决 方案 的 拓扑 
结构 。 


图 7-6 拓扑 结构 


2. 方案 优势 

1) 日 志 全 生命 周期 的 管理 

统一 存储 告警 和 配置 等 日 志 信息 ,建立 一 个 集中 式 的 存储 系统 。 这 满足 了 法 律 法 规 
对 日 志 信息 的 存储 要 求 , 提 高 了 可 靠 性 ,降低 了 管理 成 本 .有效 地 避免 了 日 志 被 抹 掉 情况 
的 发 生 ,为 未 来 安全 事故 的 追溯 提供 了 可 信 的 依据 。 

2) 满足 合 规 性 要 求 

系统 内 置 基 于 等 保 、 分 保 等 合 规 性 要 求 的 分 析 场 景 ,为 用 户 开展 合 规 性 建设 工作 提供 
技术 支撑 。 用 户 可 以 通过 丰富 的 合 规 分 析 策略 对 全 网 的 安全 事件 进行 全 方位 .多 视角 、 大 
跨度 . 细 粒 度 的 实时 监测 、 分 析 查询 .调查 .追溯 ,动态 了 解 系统 的 合 规 情况 。 通 过 系统 对 
海量 日 志 的 收集 存储、 分 析 能 力 ,完全 满足 合 规 性 要 求 。 
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3) 提升 运 维 能 力 

通过 系统 自动 化 地 对 海量 数据 进行 收集 、 存 储 、 分 析 、 统 计 , 可 以 及 时 发 现 IT 系统 中 
的 安全 事件 ,解决 人 工效 率 低下 以 及 面 对 海 量 数据 人 工 无 法 进行 管理 的 难题 ,这 是 运 维 人 
员 日 常 工作 中 不 可 或 缺 的 技术 支撑 。 


7.5 日 志 的 高 级 应 用 : 如 何 通过 日 志 溯源 


7.5.1 某 企 业 的 撞 库 事件 分 析 


1. 事件 概述 

某 企业 的 客服 收 到 用 户 的 反馈 说 自己 的 账户 存在 异常 登录 的 行为 并 且 成 功 登录 , 客 
服部 门 第 一 时 间 把 这 个 情况 反馈 给 企业 的 安全 运营 中 心 (Security Operations Center， 
SOC) ,SOC 通过 相关 事件 的 调查 取证 认定 这 是 一 起 撞 库 事件 。 

2. 事件 分 析 

SOC 首先 调 取 了 事件 发 生前 后 一 段 时 间 的 日 志 进 行 分 析 与 审计 , 调 取 的 日 志 内 容 包 
含 所 发 生 问题 的 认证 日 志 、 服 务 器 操作 日 志 、 攻 击 事件 日 志 等 与 安全 相关 的 日 志 。 通 过 分 
析 发 现 , 被 攻击 的 服务 器 确实 遭受 撞 库 的 行为 且 统 计 得 出 撞 库 成 功率 在 30%% ,同时 发 现 
了 一 些 存在 可 疑 行为 的 IP 地 址 并 对 其 进行 了 封禁 。 

SOC 使 用 钻石 模型 进行 分 析 , 如 图 7-7 所 示 。 攻 击 者 的 目标 是 企业 客户 ,使 用 被 攻陷 
服务 器 对 该 企业 发 起 恶意 撞 库 行为 的 攻击 。 这 时 ,SOC 的 分 析 存 在 以 下 疑问 。 


* 撞 库 的 数据 是 从 哪儿 来 的 ? 
客服 S 团 队 


CR 投诉 吕 吕 和 为 什么 搞 我 们 ? 
6 @ ee 
客户 a 


安全 日 志 

- 。 攻 击 IP 
网 络 流量 。IP 绑 定 域名 
i 。 攻 击 IP 的 操作 


主机 终端 


图 7-7 SOC 对 于 事件 的 分 析 


”攻击 者 出 于 什么 目的 攻击 该 企业 ? 
。 攻击 者 撞 库 使 用 的 数据 源 从 哪里 来 的 ? 
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。 30% 的 成 功率 是 否 太 高 了 ? 

但 是 ,SOC 通过 内 部 的 日 志 并 没有 发 现 数据 库 被 泄漏 的 痕迹 ,于 是 SOC 工程 师 带 着 
这 些 疑 问 找到 了 企业 的 安全 分 析 师 。 

首先 根据 安全 分 析 师 的 经 验 ,由 于 撞 库 的 本 质 是 暴力 破解 攻击 ,所 以 30% 的 碰撞 成 
功率 确实 高 得 不 正常 。 对 攻击 数据 和 攻击 向 量 进行 分 析 和 攻击 溯源 后 发 现 ,两 周 前 ,该 攻 
击 者 制作 了 一 个 与 该 企业 某 业 务 系统 很 类 似 的 钓鱼 页 面 。 

安全 分 析 师 推测 ,数据 源 可 能 是 由 于 该 钓鱼 页 面 窃取 了 部 分 账户 的 用 户 名 和 密码 ,从 
而 实现 了 对 用 户 名 密码 的 收集 ,同时 发 现 了 该 页 面 的 传播 方式 很 可 能 是 通过 短信 伪 基 站 
分 发 钓鱼 短信 的 方式 对 用 户 进 行 钓鱼 。 但 是 ,这 时 还 有 另外 一 个 未 解 问题 : 为 什么 该 客 
户 会 成 为 这 个 攻击 者 的 目标 ,在 对 这 个 攻击 者 的 历史 行为 继续 进行 溯源 后 发 现 , 该 攻击 者 
对 目标 企业 曾经 发 起 过 一 次 规模 不 大 的 DDoS 攻击 。 

安全 分 析 师 和 企业 SOC 的 工程 师 经 过 反复 确认 后 ,也 证 明了 这 一 次 攻击 的 真实 性 ， 
并 且 据 工程 师 回 忆 , 该 企业 服务 还 因此 中 断 了 几 秒 钟 时 间 。 安 全 分 析 师 推测 ,这 次 DDoS 
攻击 很 有 可 能 是 企业 成 为 目标 的 前 奏 。 根 据 360 威胁 情报 中 心 提 供 的 数据 显示 , 绝 大 部 
分 DDoS 攻击 都 存在 量 小 、 持 续 时 间 短 等 特点 ,这 显然 与 DDoS 攻击 的 本 质 一 一 拒绝 服务 
相差 甚 远 ,甚至 背离 了 拒绝 服务 的 本 质 。 小 流量 DDoS 也 是 令 国内 外 安全 专家 困惑 的 攻 
击 类 型 。 

如 图 7-8 所 示 ,通过 对 该 攻击 者 更 进一步 的 溯源 发 现 ,攻击 者 的 挑选 目标 和 攻击 手段 
的 步骤 如 下 。 


08 投诉 寻求 帮助 
YY ma hd ea 


客服 SOC 团 队 威胁 分 析 师 


i DDosS 测 试 表明 目标 SOC 
攻击 者 的 行为 鱼网 站 能 力 弱 ， 没 有 迅速 发 现 和 


解决 问题 的 能 力 
攻击 者 基础 设施 


守 一 DDoS 测试 表明 目标 SOC 
攻击 目标 个 月 前 : 能 力 弱 ， 没 有 迅速 发 现 和 


解决 问题 的 能 力 


攻击 者 的 目的 


7-8 针对 攻击 者 的 分 析 过 程 


(1) 通过 小 流量 短 时 间 DDoS 攻击 测试 目标 系统 的 安全 响应 时 间 和 反应 速度 ,评估 
其 SOC 的 素质 。 

(2) 制作 针对 性 的 钓鱼 网 站 骗取 这 些 SOC 能 力 较 弱 企 业 的 用 户 认证 信息 。 

(3) 对 该 企业 进行 撞 库 ,获取 利润 。 
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通过 使 用 360 威胁 情报 中 心 的 可 视 化 分 析 功 能 对 该 攻击 者 的 进一步 调查 ,该 企业 最 
终 确认 这 是 一 个 具备 一 定 规模 的 黑 产 团队 ,并 且 具 备 一 定 的 技术 能 力 。 


7.5.2 ” 某 企 业 短 信 平 台 事件 分 析 


1. 事件 概述 

某 企 业 的 客服 收 到 用 户 的 反馈 说 自己 的 手机 收 到 了 该 企业 发 来 的 验证 码 短信 ,但 是 
客户 并 没有 办 理 任何 需要 验证 码 相 关 的 业务 ,客服 部 门 第 一 时 间 把 这 个 情况 反馈 给 企业 
的 SOC,SOC 通过 调查 和 分 析 后 发 现 是 攻击 的 接口 没有 进行 人 机 验证 , 遂 督 促 产 品 部 门 
进行 修复 。 修 复 完成 后 一 段 时 间 内 , 运 维 部 门 发 现 服务 器 占用 率 较 大 ,并 且 与 请 求 URL 
类 似 , 通 过 与 SOC 部 门 的 配合 ,认为 遭受 到 了 CC/DDoS 攻击 。 


2. 事件 分 析 

SOC 的 工程 师 通 过 对 出 现 严 重 资源 占用 的 服务 器 和 与 之 相关 的 服务 器 进行 Web 日 
志 分 析 和 审计 ,并 且 通 过 对 IDS/WAF 的 日 志 进 行 分 析 ,SOC 从 Web 日 志 中 发 现 同一 个 
IP 地 址 发 起 了 多 次 请 求 ,并 且 这 样 的 IP 数量 有 2000 个 左右 。 由 于 该 公司 是 一 个 互联 网 
企业 ,所 以 不 会 出 现 这 种 大 批量 注册 的 行为 。 由 于 该 SOC 素质 较 高 ,同时 存在 使 用 安全 
威胁 交换 (Open Threat Exchange,OTX) 威 胁 情报 的 能 力 ,SOC 发 现 有 20% 的 IP 地 址 被 
标记 为 恶意 的 IP, 同 时 被 标记 为 DDoS 源 ,所 以 认定 该 事件 为 对 服务 器 的 CC/DDoS 事 
件 , 如 图 7-9 所 示 。 


安全 日 志 
网 络 流量 


。 攻 击 IP 
。IP 绑 定 域名 

。 攻 击 IP 的 操作 
。 公 开 威 胁 情报 


数据 IO 
主机 终端 


A 
-> 
WY 


图 7-9 SOC 对 于 事件 的 分 析 


SOC 通过 与 各 部 门 沟通 ,最 终 确定 了 封 堵 IP 的 方案 ,建议 按照 请 求 量 和 频率 封 堵 
IP。 但是, 一段 时 间 后 发 现 , 服 务 器 资源 并 没有 因此 而 下 降 , 而 且 封禁 的 IP 过 多 已 经 影响 
了 正常 业务 的 运行 。 于 是 ,SOC 便 将 此 事件 报告 到 专业 的 安全 分 析 师 。 

安全 分 析 师 看 过 SOC 的 分 析 报 告 后 ,有 以 下 两 个 疑点 。 

@ 为 什么 只 有 20% 的 IP 被 标记 为 肉鸡 ? 

@ 为 什么 封禁 IP 的 手段 会 失效 ? 

带 着 这 些 问 题 ,安全 分 析 师 对 该 事件 产生 的 攻击 向 量 和 IP 地 址 进行 了 分 析 ,通过 分 
析 发 现 ,IP 的 数据 确实 为 20% 是 被 标记 肉鸡 数据 ,80% 为 正常 的 ADSL 接 入 数据 和 动 
态 IP 配置 ,也 就 是 剩 下 的 80% 均 为 终端 用 户 , 而 非 IDC( 互 联网 内 容 提供 商 )。 安 全 分 析 
师 通 过 使 用 商业 化 的 威胁 情报 数据 对 这 些 IP 地 址 和 请 求 进行 了 分 析 , 发 现 这 些 IP 地 址 
里 面 有 75% 的 IP 地 址 使 用 一 种 名 为 艇 炸 机 的 Android 应 用 程序 。 这 种 工具 的 原理 是 ， 

116 


ee 第 7 章 典型 案例 mm 


通过 对 网 络 上 使 用 验证 码 的 系统 进行 分 析 , 找 到 一 些 不 用 验证 码 只 需要 对 特定 URL 请 
求 的 服务 器 ,直接 大 批量 请 求 这 些 URL 即 可 获取 验证 码 , 如 果 把 这 些 验 证 码 的 手机 目标 
替换 为 想 要 整 器 的 对 象 的 手机 号 码 , 即 可 让 该 对 象 收 到 大 量 的 短信 验证 码 , 从 而 达到 整 人 
的 目的 。 

对 该 事件 的 威胁 分 析 如 图 7-10 所 示 。SOC 承认 了 之 前 对 攻击 行为 的 误 判 ,于 是 敦促 
产品 团队 进行 了 二 次 修复 ,同时 启用 了 备用 的 短信 平台 服务 器 ,等 待 工具 制作 者 更 新 接口 
时 将 该 企业 的 接口 移 除 。 


攻击 工具 集 

a top3 

攻击 者 行为 | | [威胁 情报 数据 高 级 威胁 情报 数据 

观 依 受 丰 机 

(75%) 

改 击 者 基础 设施 

| 方式 为 动态 IP 的 
Te 


并 不 是 CC 攻击 ， 只 是 接口 方法 修复 有 问题 


图 7-10 对 该 事件 的 威胁 分 析 


上 述 案例 很 好 地 说 明了 高 级 威胁 分 析 搭 配 威胁 情报 的 组 合 可 以 更 有 效 和 准确 地 检测 
和 对 抗 来 自 互联 网 的 攻击 ,同时 也 能 更 好 地 识别 类 似 于 案例 一 中 真实 的 高 级 威胁 和 类 似 
于 短信 平台 事件 案例 中 具备 攻击 假象 的 产品 漏洞 利用 。 不 太 可 能 是 攻击 的 行为 ,往往 可 
能 是 高 级 威胁 的 前 奏 , 看 似 是 攻 击 的 行为 往往 可 能 只 是 某 些 业务 逻辑 漏洞 的 利用 。 利 用 
尽 可 能 多 的 安全 数据 来 源 减 小 安全 运营 中 的 盲区 是 未 来 安全 运营 需要 解决 的 问题 。 

由 于 安全 行业 的 发 展 和 企业 对 于 安全 越 来 越 多 的 诉求 , 近 两 年 安全 行业 的 发 展 逐 渐 
从 人 十 技术 的 技术 驱动 安全 发 展 慢 慢 地 过 渡 到 人 十 数据 的 数据 驱动 安全 发 展 ,特别 是 近 
期 比较 火 的 威胁 情报 、 用 户 实体 行为 分 析 (UEBA) 互联 网 攻击 溯源 等 都 是 人 十 数据 驱动 
安全 发 展 的 里 程 碑 ,安全 行业 需要 越 来 越 多 的 懂 安 全 的 数据 分 析 人 员 加 入 进来 一 同 筑 造 
企业 安全 的 防线 。 


. 简 述 日 志 审 计 系 统 的 安全 性 保证 措施 。 

. 简 述 金融 行业 日 志 审计 的 解决 方案 。 

. 简 述 航空 公司 一 体 化 安全 管理 平台 的 几 个 重要 组 成 部 分 。 
. 简 述 日 志 如 何 调 源 。 


上 请 上 mo 
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英文 缩 略语 


Active Accident Diagram 
Artificial Ignorance 
Application Programming Interface 


Augmented Backus-Naur form 


American Standard Code for Information Interchange 


American National Standards Institute 


Business Service Management 


Central Processing Unit 
Chief Information Officer 
Chief Technology Officer 
Call-Level Interface 
Compact Disk 

Challenge Collapsar 


Distributed Denial of Service 

Digital Video Disk 

Document Type Definition 

Document Object Model 

Distributed Intrusion Detection System 
Data Query Language 

Dynamic Host Configuration Protocol 
Domain Name System 


Dynamic Radar Diagram 


Event Behavior Analysis 


File Transfer Protocol 


Governance, Risk Management and Compliance 


主动 事件 图 

人 为 忽略 

应 用 程序 编程 接口 
增强 Backus-Naur 形式 
美国 信息 交换 标准 代码 
美国 国家 标准 学 会 


业务 服务 管理 


中 央 处 理 单元 
首席 信息 官 
首席 技术 官 
调用 级 接口 

光盘 

挑战 黑洞 


分 布 式 拒绝 服务 
数字 化 视频 光盘 
文档 类 型 定义 
文档 对 象 模型 

分 布 式 人 侵 检测 系统 
数据 查询 语言 
动态 主机 配置 协议 
域名 系统 

动态 雷达 图 


事件 行为 分 析 


文件 传输 协议 


治理 风险 管理 和 法 规 遵从 


999g 附录 人 A 英文 缩 略语 mm 


Global Positioning System 
Generic Log Collector 


Host Intrusion Detection System 

Health Insurance Portability and Accountability Act 
Host Intrusion Prevent System 

Hadoop Distributed File System 


HyperText Transfer Protocol 


Intrusion Protection System 
Internet Protocol 

Intrusion Detection System 
Information System Security Audit 
Information Technology 

Internet Control Message Protocol 
incident Global Positioning System 
International Business Machines 


Infrastructure as a Service 


Java DataBase Connectivity 


Management Information Base 


Network Interface Card 

Network Intrusion Detection Systems 

Network Management System 

North American Electric Reliability Corporation 
Network Attached Storage 

Non-deterministic Finite Automata 


Network File System 


Open DataBase Connectivity 
Open Threat Exchange 


Payment Card Industry Data Security Standard 
Probability Analysis Network 

Peer-to-Peer networking 

Portable Operating System Interface of UNIX 


Relational DataBase Management System 
Redundant Arrays of Independent Disks 


全 球 定位 系统 
事件 传感器 


主机 入 侵 检 测 系 统 

健康 保险 便利 性 和 责任 法 案 
主机 入 侵 防 御 系 统 

Hadoop 生态 圈 分 布 式 文件 系统 
超 文本 传输 协议 


人 侵 防 御 系 统 
互联 网 协议 

人 侵 检 测 系统 

信息 系统 安全 审计 
信息 技术 
因特网 控制 报 文 协议 
事件 全 球 定位 系统 
国际 商业 机 器 
基础 设施 即 服务 


Java 数据 库 连接 


信息 管理 库 


网 络 接口 卡 

网 络 人 侵 检 测 系统 
网 络 管理 系统 
北美 电力 可 靠 性 公司 
网 络 附属 存储 

非 确定 性 有 限 自动 机 
网 络 文件 系统 


开放 数据 库 互联 
安全 威胁 交换 


支付 卡 行业 数据 安全 标准 
概率 分 析 网 

对 等 网 络 

可 移植 操作 系统 接口 


关系 型 数据 库 管 理 系统 
磁盘 阵列 
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Secure Shell 

Sarbans-Oxley Act 

Support Vector Machine 

Security Information And Event Management 
SQL Access Group 

Sorted Neighborhood Method 

Simple APIs for XML 

Simple Network Management Protocol 
Structured Query Language 
Subscriber Identification Module 
Secure Sockets Layer 


Security Operations Center 
Transmission Control Protocol 
Unified Threat Management 
User Datagram Protocol 
Uniform Resource Locator 


Virtual Private Network 


Wireless Access Point 
Write Once Read Many 


Extensive Markup Language 
eXtensible Stylesheet Language 


eXtensible Stylesheet Language Transformation 


安全 外 壳 协 议 

萨 班 斯 -奥克斯 利 法 案 
支持 向 量 机 

安全 信息 及 事件 管理 系统 
SQL 访问 组 

近邻 排序 算法 

XML 简单 应 用 程序 接口 
简单 网 络 管理 协议 
结构 化 查询 语言 

用 户 身 份 识别 卡 
安全 套 接 层 

安全 运营 中 心 


传输 控制 协议 
统一 威胁 管理 
用 户 数据 报 协议 
统一 资源 定位 符 
虚拟 私人 网 络 


无 线 接 人 点 
一 写 多 读 


可 扩展 标识 语言 
样式 表 
样式 表 转 换 
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